qa engineer (auto)

Добавь резюме в профиле, а нейросеть определит твою категорию. Затем ты сможешь генерировать сопроводительные письма для вакансий этой категории

Команда занимается тестированием LLM и AI-агентных систем.

• Тестировать поведение AI-агентов (диалоги, логика, контекст, состояние).
• Выявлять и анализировать галлюцинации, отклонения от инструкций и логические ошибки.
• Разрабатывать и поддерживать тест-кейсы для LLM-агентов (manual + automation).
• Строить и поддерживать eval-наборы (Golden Datasets) для регрессионного тестирования.
• Использовать eval-фреймворки для оценки качества ответов LLM.
• Тестировать интеграции агентов с внешними системами (API, CRM, инструменты).
• Анализировать качество ответов по метрикам: accuracy, coherence, relevance.
• Участвовать в развитии тестовой архитектуры для AI-систем.

• Опыт в QA (manual и/или automation) от 2 лет.
• Практический опыт тестирования AI-агентов или чат-ботов.
• Понимание принципов работы LLM-систем, AI-агентов и prompt engineering.
• Опыт работы с eval-инструментами (OpenAI Evals, DeepEval, LangChain Evals или аналоги).
• Уверенный Python (написание автотестов и вспомогательных скриптов).
• Умение читать и анализировать код и конфигурации (JSON, логика агентов).
• Опыт работы с Git и системами баг-трекинга.
• Будет плюсом опыт работы с LangChain, vapi, Synthflow или аналогичными платформами, понимание CI/CD и базовых инструментов мониторинга, опыт участия в проектировании тестовой архитектуры для AI/ML-систем, опыт оценки LLM не только вручную, но и через метрики и автопроверки.

• Полностью удалённый формат работы.
• Работа в сильной команде разработчиков, ML-инженеров и AI-специалистов.
• Возможность профессионально расти в QA для LLM- и AI-агентных систем.
• Оплата по квалификации.