QA тестировщик (manual)

Команда разрабатывает AI-инструменты, LLM-платформу и решения по автоматизации на базе искусственного интеллекта.

• Выполнять функциональное и регрессионное тестирование продуктов с LLM-компонентами (веб-интерфейсы, API, интеграции);
• Разрабатывать и поддерживать наборы тестовых сценариев для оценки качества ответов моделей;
• Тестировать промпты на устойчивость к перефразированию, граничным случаям, инъекциям и джейлбрейкам;
• Оценивать ответы моделей по критериям точности, полноты, наличию галлюцинаций и соответствию формату;
• Анализировать недетерминированное поведение, воспроизводить плавающие дефекты и проводить статистическую оценку стабильности;
• Автоматизировать рутинные проверки на Python (pytest), включая smoke-тесты API и скрипты для массовой проверки ответов;
• Тестировать API-интеграции с LLM-провайдерами, проверяя лимиты, ретраи, обработку ошибок и стриминг;
• Вести тестовую документацию, оформлять баг-репорты и участвовать в приёмке фич;
• Взаимодействовать с разработчиками и ML-инженерами при разборе дефектов.

• Опыт в тестировании от 3 лет (ручное тестирование и понимание принципов автоматизации);
• Практический опыт работы с AI-инструментами (ChatGPT, Claude, Copilot);
• Понимание основ промпт-инжиниринга (структура промпта, few-shot, chain-of-thought, системные промпты);
• Уверенное тестирование API (Postman, curl, HTTP-клиенты), чтение JSON, понимание REST;
• Понимание специфики LLM (недетерминированность, галлюцинации, ограничения контекста, параметры генерации);
• Владение Python на базовом уровне для автотестирования (pytest, requests, работа с фикстурами и ассертами);
• Умение писать чёткие баг-репорты и тест-кейсы;
• Будет плюсом продвинутая автоматизация UI (Playwright, Selenium), опыт построения фреймворков с нуля, опыт построения LLM-evaluation пайплайнов (promptfoo, LangSmith, Ragas), понимание RAG-архитектур и векторного поиска, опыт тестирования безопасности LLM, английский на уровне чтения технической документации и выше.

• Современный офис рядом с м. Кутузовская;
• Ежегодный пересмотр зарплаты;
• Корпоративный спортзал и зоны отдыха;
• Доступ к более чем 400 образовательным программам СберУниверситета;
• Программа адаптации и помощь руководителя на старте;
• Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа;
• Гибкий дисконт по ипотечному кредиту;
• Подписка СберПрайм;
• Вознаграждение за рекомендацию друзей в команду.