qa engineer (manual) AI-продуктов

Сбер разрабатывает AI-инструменты, LLM-платформу и решения для автоматизации на базе ИИ. Команда создает AI-продукты и оценивает качество ответов LLM, включая устойчивость промптов.

• Проводить функциональное и регрессионное тестирование продуктов с LLM-компонентами, веб-интерфейсами, API и интеграциями;
• Разрабатывать и поддерживать наборы тестовых сценариев для оценки качества ответов моделей;
• Тестировать промпты на устойчивость к перефразированию, пограничным случаям, инъекциям и джейлбрейкам;
• Оценивать ответы LLM по точности, полноте, наличию галлюцинаций и соответствию формату;
• Анализировать недетерминированное поведение, воспроизводить плавающие дефекты и статистически оценивать стабильность;
• Автоматизировать проверки на Python и pytest;
• Тестировать API-интеграции с LLM-провайдерами, включая лимиты, повторные попытки, обработку ошибок и потоковую передачу;
• Вести тестовую документацию и баг-репорты;
• Участвовать в приёмке функций;
• Взаимодействовать с разработчиками и ML-инженерами при разборе дефектов.

• Опыт в тестировании от 5 лет, включая ручное тестирование и автоматизацию;
• Практический опыт работы с AI-инструментами ChatGPT, Claude, Copilot и аналогами;
• Понимание основ промпт-инжиниринга: структуры промпта, few-shot, chain-of-thought, sdd и системных промптов;
• Уверенное тестирование API с Postman, curl или HTTP-клиентами;
• Умение читать JSON и понимание REST;
• Понимание специфики LLM: недетерминированности, галлюцинаций, ограничений контекста, температуры и параметров генерации;
• Базовое знание Python для автотестирования;
• Умение писать и поддерживать автотесты с pytest, requests и playwright;
• Понимание структуры тестового проекта, работы с фикстурами и ассертами;
• Умение писать чёткие баг-репорты и тест-кейсы, включая случаи неправильных ответов модели с воспроизводимыми условиями;
• Будет плюсом продвинутая автоматизация UI, Playwright, Selenium, опыт построения фреймворков с нуля, опыт построения LLM-evaluation пайплайнов, понимание RAG-архитектур, опыт тестирования безопасности LLM, prompt injection, jailbreaks и утечек данных.

• Срочный трудовой договор до 01.07.2027;
• Офисный формат работы на период испытательного срока, далее возможен гибридный формат;
• Ежегодный пересмотр зарплаты;
• Корпоративный спортзал и зоны отдыха;
• Более 400 образовательных программ СберУниверситета;
• Расширенный ДМС;
• Льготное страхование для семьи;
• Корпоративная пенсионная программа;
• Гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ;
• Подписка СберПрайм с возможностью совместного использования на троих близких;
• Вознаграждение за рекомендацию друзей в команду Сбера.