менеджер продукта качества GenAI

Команда занимается данными и аналитикой ИИ-помощника Сбера: оценивает качество генеративных моделей, дообучает их под продуктовые задачи и помогает принимать продуктовые и бизнес-решения на основе данных. Направление включает метрики, эксперименты, бенчмарки, human evaluation и инфраструктуру для аналитики.

• Построить целостную систему оценки качества ИИ-помощника: дерево метрик качества, целевые бенчмарки, side-by-side-сравнения с конкурирующими ассистентами, human evaluation и LLM-as-a-judge;
• Организовать процесс дообучения моделей под продуктовые задачи: SFT, DPO и RL — от постановки задачи и подготовки датасетов до обучения, оценки и критериев допуска в прод;
• Выстроить воспроизводимый пайплайн дообучения моделей;
• Развивать эвал-платформу и замкнутый цикл «метрика → эвал → обучение/проверка → quality gate»;
• Организовать процессы человеческой оценки и разметки: экспертную и краудсорсинговую разметку, работу AI-тренеров, стандарты заданий, калибровку и контроль согласованности оценщиков;
• Руководить функцией через тимлидов трёх команд: ML/DS, продуктовой аналитики и AI-платформы;
• Нанимать и развивать лидов, ставить цели и распределять приоритеты между продуктовыми доменами;
• Контролировать функцию продуктовой аналитики: единый слой продуктовых метрик, A/B-тесты на потоке и мониторинги ключевых метрик;
• Формировать квартальный и годовой roadmap аналитики;
• Согласовывать стратегические развилки с владельцами продукта, платформы и данных;
• Представлять решения аналитики на уровне C-level;
• Развивать стандарты профессии и публично представлять команду на конференциях и в статьях.

• Опыт руководства data science или аналитическими командами через тимлидов от 10–15 человек, включая найм, развитие и калибровку лидов;
• Глубокая экспертиза в оценке качества LLM/GenAI: построении метрик качества, работе с бенчмарками и аренами, организации human evaluation, model-as-a-judge и специализированными evaluation-датасетами;
• Практический опыт дообучения LLM: SFT, DPO/preference-тюнинг, RL (RLHF/RLVR), адаптеры — на уровне самостоятельной организации процесса end-to-end;
• Понимание жизненного цикла моделей в продукте, связи обучающих данных с целевыми метриками качества и контроля деградаций и регрессий;
• Уверенное владение статистикой, A/B-тестами и продуктовыми метриками;
• Реальный опыт интеграции LLM и агентов в аналитические процессы команды;
• Готовность работать в высоком темпе, обрабатывать срочные запросы от продукта и оперативно погружаться в верхнеуровневые задачи.

• Комфортный современный офис рядом с м. Кутузовская;
• Ежегодный пересмотр зарплаты и годовая премия;
• Корпоративный спортзал и зоны отдыха;
• Система обучения для профессионального и карьерного развития;
• Расширенный полис ДМС с первого дня работы и страхование для семьи;
• Льготная программа ипотеки для сотрудников;
• Бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров;
• Вознаграждение за рекомендацию друзей в команду Сбера.