qa engineer (manual) ИИ-решений

AI-команда реализует портфель ИИ-инициатив для бизнес-подразделений компании на внутренней платформе Dify.

• Подготавливать тест-кейсы на основании требований и критериев приемки инициатив
• Проводить функциональное и интеграционное тестирование ИИ-агентов, сценариев на платформе Dify и API-интеграций со внутренними системами
• Проверять позитивные, негативные и пограничные сценарии, включая нетипичные запросы пользователей и «галлюцинации» модели
• Проводить регрессионное тестирование после изменений промптов, моделей, базы знаний и интеграций
• Проверять соответствие результатов согласованным требованиям и метрикам качества
• Формировать и поддерживать тестовые выборки совместно с бизнесом и ML-командой, участвовать в оценке качества ответов
• Фиксировать дефекты, контролировать их устранение и отчитываться о качестве релизов
• Проводить приемочное тестирование перед выпуском в промышленную эксплуатацию и участвовать в приемке с бизнесом

• Опыт работы в тестировании ПО от 3 лет
• От 1 года тестирования продуктов на основе ML/LLM или API и интеграций бэкенд-сервисов
• Понимание специфики недетерминированных ответов модели
• Не менее двух проектов тестирования интеграционных решений, API или ИИ-продуктов с выводом в промышленную эксплуатацию
• Опыт построения регрессионных наборов и тестовых выборок
• Знание тест-дизайна, тестовой документации и баг-трекеров
• Опыт тестирования REST API, чтения JSON и логов
• SQL на уровне выборок для проверки данных
• Базовые навыки Python для скриптов проверки и подготовки тестовых данных
• Понимание принципов работы LLM, RAG, промптов и метрик качества ИИ
• Знание Jira или Yandex Tracker, Confluence или Yandex Wiki, Git и Google Sheets
• Будет плюсом: опыт в электронной коммерции, рознице, B2B-дистрибуции и клиентском сервисе, работа с платформами оркестрации LLM, автоматизация тестирования API и инструменты оценки LLM, разметка и оценка ответов модели, CI/CD

• Проектная занятость
• Тип контракта: ГПХ, ИП