qa инженер (manual) голосового AI-агента

Описания нет

• Строить тестовую модель агента: сценарии звонков, состояния и переходы между ними, граничные и нестандартные случаи
• Писать и поддерживать тест-кейсы и чек-листы, собирать регрессионные наборы
• Проверять сценарии звонков вручную и с помощью текстовых прогонов, включая перебивания, уход от темы, неполные ответы, шум, фамилии, телефоны, даты и время
• Проверять работу агента с учётом недетерминированности LLM, считать долю успешных прогонов и отделять стабильные ошибки от случайных
• Заводить баги с чёткой классификацией
• Анализировать логи реальных звонков, находить повторяющиеся проблемы и превращать их в тест-кейсы
• Размечать и исправлять датасеты под конкретные баги: интенты и поля, эталонные реплики агента, пары хороших и плохих ответов для дообучения
• Писать критерии оценки и инструкции для автоматической проверки ответов через LLM-as-a-judge, выборочно проверять оценки
• Проверять после каждого релиза или дообучения, что старые баги закрыты и не появились новые

• Коммерческий опыт в тестировании от 2 лет
• Уверенное владение техниками тест-дизайна: классы эквивалентности, граничные значения, таблицы решений, диаграммы состояний и переходов, pairwise
• Умение писать понятные тест-кейсы, чек-листы и баг-репорты; опыт работы с TMS или аналогами
• Понимание процессов QA: регресс, смоук, приоритизация багов, тестовое покрытие
• Отличная грамотность в русском языке
• Внимательность и терпение к монотонной работе с большим объёмом диалогов и разметки
• Уверенная работа с таблицами и JSON, умение читать структурированные логи и данные
• Будет плюсом: опыт тестирования чат-ботов, голосовых ассистентов или других LLM-продуктов, разметки данных, базовый Python и pytest, понимание LLM, промптов и дообучения, опыт API-тестирования, интерес к медицине или опыт работы с клиниками

• График 5/2