Head of Data Science ИИ-помощника

Команда работает с данными и аналитикой ИИ-помощника Сбера. Она оценивает качество генеративных моделей, дообучает их под продуктовые задачи и помогает принимать продуктовые и бизнес-решения на основе метрик, экспериментов, бенчмарков, human evaluation и инфраструктуры.

• Построить целостную систему оценки качества ИИ-помощника: дерево метрик качества, целевые бенчмарки, SBS-сравнения с конкурирующими ассистентами, human evaluation и LLM-as-a-judge;
• Организовать процесс дообучения моделей под продуктовые задачи: SFT, DPO и RL — от постановки задачи и подготовки датасетов до обучения, оценки и допуска в прод;
• Выстроить воспроизводимый пайплайн дообучения моделей;
• Развивать эвал-платформу и замкнутый цикл «метрика → эвал → обучение/проверка → quality gate»;
• Организовать процессы человеческой оценки и разметки, включая экспертную и краудсорсинговую разметку, работу AI-тренеров, стандарты заданий, калибровку и контроль согласованности оценщиков;
• Руководить функцией через тимлидов трёх команд: ML/DS, продуктовой аналитики и AI-платформы;
• Нанимать и развивать лидов;
• Ставить цели и распределять приоритеты между продуктовыми доменами;
• Контролировать функцию продуктовой аналитики: единый слой продуктовых метрик, A/B на потоке и мониторинги ключевых метрик;
• Формировать квартальный и годовой roadmap аналитики;
• Согласовывать стратегические развилки с владельцами продукта, платформы и данных;
• Представлять решения аналитики на уровне C-level;
• Развивать стандарты профессии и публично представлять команду на конференциях и в статьях.

• Опыт руководства data science или аналитическими командами через тимлидов численностью от 10–15 человек, включая найм, развитие и калибровку лидов;
• Глубокая экспертиза в оценке качества LLM/GenAI: метрики качества, бенчмарки и арены, human evaluation, model-as-a-judge и специализированные evaluation-датасеты;
• Практический опыт дообучения LLM с использованием SFT, DPO/preference-тюнинга, RL (RLHF/RLVR) и адаптеров на уровне самостоятельной организации процесса от данных до допуска в прод;
• Понимание жизненного цикла моделей в продукте, связи обучающих данных с целевыми метриками качества, контроля деградаций и регрессий;
• Уверенное владение статистикой, A/B-тестами и продуктовыми метриками;
• Реальный опыт интеграции LLM и агентов в аналитические процессы команды;
• Готовность работать в высоком темпе и оперативно погружаться в срочные и верхнеуровневые задачи.

• Комфортный современный офис рядом с м. Кутузовская;
• Ежегодный пересмотр зарплаты;
• Годовая премия;
• Корпоративный спортзал и зоны отдыха;
• Система обучения для профессионального и карьерного развития;
• Расширенный полис ДМС с первого дня работы и страхование для семьи;
• Льготная программа ипотеки для сотрудников;
• Бесплатная подписка СберПрайм+;
• Скидки на продукты компаний-партнеров;
• Вознаграждение за рекомендацию друзей в команду Сбера.