QA Engineer (auto)

Загрузи резюме в профиле, а нейросеть определит твою категорию. Затем ты сможешь генерировать сопроводительные письма для вакансий этой категории

Aspirity Solution — это студия, которая больше 10 лет делает веб- и мобильные приложения, no-code решения и умных AI-агентов для клиентов по всему миру. Компания ищет QA-инженера, который поможет следить за качеством и стабильностью работы этих AI-агентов.

Вы будете тестировать и оценивать, как работают AI-агенты, включая диалоговые и когнитивные системы. Вам нужно будет разрабатывать и проводить специальные тесты (eval-тесты) для проверки устойчивости поведения агентов. Также Вы будете писать тест-кейсы, анализировать ошибки в логике и промптах при нестандартных данных и работать с командой разработчиков и prompt-инженеров для улучшения моделей и тестовых процессов.

• Имеете опыт работы в QA (ручном или автоматизированном) от 2 лет
• Понимаете принципы работы AI-агентов, LLM-систем и prompt-инженерии
• Имеете опыт работы с eval-фреймворками, такими как OpenAI Evals, DeepEval, LangChain Evals или похожими
• Владеете Python на уровне написания тестов и простых скриптов
• Умеете работать с Git и системами отслеживания ошибок
• Владеете английским языком на уровне не ниже B2 для общения в международной команде
• Будет плюсом, если имеете опыт автоматизированного тестирования AI-агентов или чат-ботов, опыт работы с LangChain, vapi, synthflow или другими инструментами построения агентов, а также опыт анализа LLM-ответов по метрикам качества (accuracy, coherence, relevance) и понимаете CI/CD-процессы и инструменты мониторинга

• Удалённый формат работы и гибкий график
• Возможность развиваться в сфере QA для LLM-агентов и AI-систем
• Оплата по уровню квалификации (от $20/час)