описание
Наш продукт — это ИИ-помощник, который разработан для помощи сейлзам и трейдерам, снимая с них часть рутинных задач и процессов.
задачи
- тестирование качества ответов AI-навыков: релевантность, полнота, корректность, отсутствие галлюцинаций и «уверенных, но неверных» ответов
- формирование и поддержка эталонных датасетов (golden set) для регрессионной оценки LLM-ответов и промптов
- тестирование промптов, RAG-конвейеров и маршрутизации оркестратора — правильный ли агент/навык выбирается под запрос, полные ли источники подтягиваются
- оценка недетерминированного поведения: прогон запросов N раз, статистические метрики стабильности и качества, выявление регрессов качества между версиями моделей/промптов
- разработка, ревью и поддержка тест-кейсов, чек-листов, тест-планов
- взаимодействие с разработчиками, аналитиками, DS/ML-инженерами и PO для уточнения требований
- ведение баг-трекинга в Jira, документирование в Confluence.
требования
- опыт в роли QA от 3 лет
- опыт функционального и сквозного (E2E) тестирования
- опыт тестирования API и интеграций: REST/gRPC, форматы запросов/ответов, работа с моками внешних сервисов
- умение составлять и проверять тест-кейсы в Zephyr, анализировать покрытие
- понимание принципов работы LLM и GenAI: промпты, RAG, температура/вариативность, ограничения моделей, типовые режимы отказа (галлюцинации, потеря контекста, неверная интерпретация запроса)
- опыт оценки качества AI-ответов: эталонные наборы, ручная и полуавтоматическая разметка, метрики точности/полноты/faithfulness/relevancy
- навыки написания скриптов на Python для прогона батчей запросов, сбора и сравнения результатов.
- Будет плюсом: опыт в финтехе / банковской сфере; опыт тестирования AI/ML-продуктов: чат-боты, ассистенты, рекомендательные системы; знание инструментов оценки LLM: LangSmith, DeepEval, Arize, RAGAS или аналоги; базовые знания автоматизации тестирования (Java, Python); опыт работы с системами мониторинга (Grafana), включая мониторинг качества AI-ответов; понимание требований комплаенса и работы с чувствительными данными
условия
- комфортный современный офис на Вавилова, 19
- формат работы – гибрид
- ежегодный пересмотр зарплаты, квартальная и годовая премия
- корпоративный спортзал и зоны отдыха
- более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
- программа адаптации и помощь руководителя на старте
- расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
- гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
- подписка Прайм с возможностью совместного использования на трёх близких
- вознаграждение за рекомендацию друзей в команду Сбера.
навыки
компания
Крупнейший российский банк и экосистема. Предоставляет банковские услуги: кредиты, вклады, карты, ипотека. Развивает сервисы: доставка, здоровье, развлечения, облачные технологии и ИИ. Удобно для финансов и повседневных задач.
Подробнее о компании →
