старший менеджер продукта AI-продуктов

Customer AI Products — направление пользовательских AI‑продуктов в экосистеме Т‑Банка с аудиторией в десятки миллионов клиентов. Команда развивает AI‑ассистентов, единый поиск по продуктам и сервисам с пониманием естественного языка, а также интеллектуальные интерфейсы: умную камеру, саммаризации и голосовые сценарии. Технологическая база включает LLM и агентные системы, мультимодальные модели, RAG, поиск и рекомендательные механики. Аналитика работает как самостоятельная функция с мандатом на формирование стандартов методологии экспериментов и оценки качества AI.

• Руководить аналитической функцией направления, управлять лидами аналитики продуктовых групп, развивать команду и стандарты экспертизы;
• Определять и поддерживать стандарты методологии A/B‑экспериментов: дизайн, расчёт мощности, требования к валидности и интерпретации результатов;
• Формировать методологию оценки качества AI‑продуктов, определять сценарные метрики, проектировать golden sets, калибровать LLM‑as‑a‑judge относительно человеческой разметки и задавать пороги регрессий;
• Обеспечивать связь офлайн‑оценок качества с онлайн‑продуктовыми метриками;
• Формировать процессы найма и онбординга аналитиков направления;
• Определять приоритеты аналитического покрытия продуктовых команд;
• Взаимодействовать с платформенной командой A/B и eval, формировать требования и участвовать в развитии инструментов.

• Опыт построения или трансформации аналитической функции, включая запуск с нуля или перестройку существующей модели;
• Управленческий опыт: найм и развитие аналитиков или лидов аналитики;
• Опыт внедрения стандартов и методологии в командах без прямого управленческого подчинения;
• Знание методологии экспериментов: дизайн, расчёт мощности, sequential testing, типовые ошибки peeking, SRM и множественные сравнения, методы причинного вывода и квазиэкспериментальные подходы;
• Знание подходов к оценке качества ML/LLM‑продуктов: сценарные метрики, golden sets, LLM‑as‑a‑judge и его ограничения;
• Знание SQL и использование Python для анализа данных и прототипирования;
• Умение связывать продуктовые метрики с бизнес‑результатом и строить дерево метрик.

• Гибридный формат работы;
• Возможность работы в аккредитованной ИТ-компании;
• ДМС со стоматологией, включая чекапы, компенсацию покупки лекарств и льготные условия страхования для близких;
• Страховка от несчастных случаев и болезней;
• Курсы по софт- и хард-скиллам, поддержка ментора, матрица компетенций и регулярное ревью;
• Возможность работать с экспертами, делиться знаниями, выступать на конференциях, посещать митапы и писать статьи;
• Онлайн-консультации с психологами, юристами, специалистами по финансам и здоровому образу жизни;
• Компенсация затрат на спортивные абонементы, приложение Т‑Спорта для онлайн-занятий и командные тренировки;
• Три дополнительных дня к отпуску с возможностью получить компенсацию;
• Специальные тарифы на продукты Т‑Банка и программа скидок от партнёров;
• График 5/2.