qa инженер (auto)

Добавь резюме в профиле, а нейросеть определит твою категорию. Затем ты сможешь генерировать сопроводительные письма для вакансий этой категории

Krisp разрабатывает AI Meeting Assistant с шумоподавлением, транскрипцией и инструментами для колл-центров. Компания предоставляет SDK для интеграции голосового ИИ.

• Разрабатывать и выполнять пайплайны оценки ИИ-моделей.
• Реализовывать автоматизированное и ручное тестирование LLM-приложений.
• Работать с инженерами ИИ для отладки сбоев и оптимизации производительности.
• Интегрировать тестирование на ранних этапах разработки.
• Создавать и управлять тестовыми наборами данных.
• Разрабатывать пайплайны синтетических данных.
• Выполнять интеграционное тестирование ИИ-пайплайнов.
• Создавать и поддерживать отчеты по тестированию.

• Опыт работы с фреймворками тестирования ИИ/ML и методологиями оценки LLM.
• Понимание поведения LLM, смещений, режимов сбоев и крайних случаев.
• Владение Python и знание ML-фреймворков для тестирования (например, PyTest, Unittest).
• Опыт управления тестовыми наборами данных и инструментами аннотации.
• Знание генерации синтетических данных и техник адверзиального тестирования.
• Сильные навыки решения проблем и отладки для анализа сбоев ИИ.
• Будет плюсом опыт работы с инструментами для оценки LLM, знание техник улучшения промптов.

• Гибридный формат работы в Армении.
• Равные возможности для всех кандидатов.