qa инженер (auto) LLM-платформ

Сбер разрабатывает AI-инструменты, LLM-платформу и автоматизацию на базе ИИ. Команда создаёт AI-продукты, где качество оценивается не только классическим функциональным тестированием, но и анализом ответов LLM и устойчивости промптов.

• Проводить функциональное и регрессионное тестирование продуктов с LLM-компонентами, веб-интерфейсов, API и интеграций;
• Разрабатывать и поддерживать наборы тестовых сценариев для оценки качества ответов моделей;
• Тестировать промпты на устойчивость к перефразированию, граничным случаям, инъекциям и джейлбрейкам;
• Оценивать ответы LLM по точности, полноте, галлюцинациям и соответствию формату;
• Анализировать недетерминированное поведение, воспроизводить плавающие дефекты и статистически оценивать стабильность;
• Автоматизировать рутинные проверки на Python и pytest;
• Тестировать API-интеграции с LLM-провайдерами, включая лимиты, повторные запросы, обработку ошибок и потоковую передачу;
• Вести тестовую документацию и баг-репорты;
• Участвовать в приёмке функций;
• Взаимодействовать с разработчиками и ML-инженерами при разборе дефектов.

• Опыт в тестировании от 3 лет;
• Практический опыт работы с AI-инструментами ChatGPT, Claude, Copilot и аналогами;
• Понимание основ промпт-инжиниринга, включая структуру промпта, few-shot, chain-of-thought, sdd и работу с системными промптами;
• Уверенное тестирование API с использованием Postman, curl или HTTP-клиентов;
• Умение читать JSON и понимание REST;
• Понимание специфики LLM: недетерминированности, галлюцинаций, ограничений контекста, температуры и параметров генерации;
• Базовое знание Python для автотестирования, pytest и requests;
• Понимание структуры тестового проекта, фикстур и ассертов;
• Умение писать чёткие баг-репорты и тест-кейсы с воспроизводимыми условиями;
• Будет плюсом продвинутая автоматизация UI с Playwright или Selenium, опыт построения фреймворков с нуля, опыт построения LLM-evaluation пайплайнов с promptfoo, LangSmith, Ragas или собственными фреймворками, понимание RAG-архитектур и векторного поиска, опыт тестирования безопасности LLM, английский на уровне чтения технической документации и выше.

• Комфортный современный офис рядом с м. Кутузовская;
• Ежегодный пересмотр зарплаты;
• Корпоративный спортзал и зоны отдыха;
• Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития;
• Программа адаптации и помощь руководителя на старте для Junior-позиций;
• Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа;
• Льготный дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ;
• Подписка СберПрайм с возможностью совместного использования на трёх близких;
• Вознаграждение за рекомендацию друзей в команду Сбера.