Product Analyst

Команда занимается разработкой AI бизнес-помощника внутри интернет-банка для предпринимателей СберБизнес.

• Разрабатывать и внедрять кастомные метрики оценки ответов агентов, включая использование LLM-as-a-judge;
• Проводить структурный анализ ошибок для выявления паттернов галлюцинаций, сбоев логики и деградации качества;
• Планировать и проводить A/B-эксперименты для сравнения версий промптов, архитектур агентов и моделей;
• Генерировать синтетические датасеты для тестирования и улучшения агентов;
• Искать слабые места в работе агентов и обосновывать решения по их устранению;
• Формализовать требования к качеству и передавать метрики в команду глобального мониторинга платформы;
• Готовить аналитические отчёты и презентовать выводы с конкретными рекомендациями;
• Работать с ad-hoc запросами, оперативно извлекать данные, проверять гипотезы и разбирать инциденты.

• Хорошее знание математической статистики, теории вероятностей и дизайна экспериментов;
• Опыт работы аналитиком данных от 1 года;
• Продвинутое знание SQL;
• Уверенное владение Python для анализа и визуализации данных;
• Опыт проведения исследований, проверки гипотез и формулировки выводов;
• Понимание устройства мультиагентных систем или сложных LLM-пайплайнов.

• Комфортный современный офис;
• Ежегодный пересмотр зарплаты;
• Корпоративный спортзал и зоны отдыха;
• Уникальная система обучения для профессионального и карьерного развития;
• Программа адаптации и помощь руководителя на старте;
• Расширенный ДМС и льготное страхование для семьи;
• Гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ;
• Подписка Прайм с возможностью совместного использования на трёх близких;
• Вознаграждение за рекомендацию друзей в команду;
• Корпоративная пенсионная программа.