Аналитик данных по качеству AI-сервисов

Команда строит AI-сервисы для бизнеса на базе технологий Яндекса, включая Нейроюрист, Алису Про, Нейросаппорт, Нейросейлз и Нейробухгалтер. Все сервисы создаются на общих бэкенд- и фронтенд-компонентах и активно используют LLM-технологии.

• Выстраивать функцию аналитики качества AI-сервисов, включая процессы, метрики, команду и платформенные решения;
• Искать способы измерения качества моделей и AI-сценариев совместно с командами;
• Строить систему метрик и улучшать процессы оценки;
• Помогать командам быстрее и безопаснее запускать изменения;
• Выстраивать процессы оценки качества: от ручной разметки и продуктовых исследований до LLM-as-a-judge и автоматических проверок;
• Помогать нескольким AI-продуктам одновременно, перенося лучшие практики между командами;
• Нанимать и развивать ML-аналитиков, формируя инженерно-продуктовую культуру вокруг аналитики качества.

• Опыт руководства аналитиками, ML-аналитиками или quality-направлениями;
• Опыт работы с офлайн- и онлайн-оценкой качества моделей;
• Глубокое понимание специфики ML- и LLM-продуктов;
• Навык построения метрик качества для AI-систем;
• Понимание ограничений классических продуктовых метрик для генеративных моделей;
• Уверенное владение SQL и Python;
• Умение самостоятельно проводить исследования и разбираться в сложных неоднозначных задачах;
• Знание устройства процессов разметки, evals и проверки качества моделей;
• Умение выстраивать процессы и эффективно работать с большим количеством стейкхолдеров;
• Будет плюсом опыт работы с LLM-as-a-judge, synthetic data, автоматическими evals, построение ML-метрик или платформ оценки качества, работа с AI-ассистентами, RAG-системами или агентами, понимание специфики B2B- и enterprise-AI-продуктов, опыт в быстрорастущих AI-командах или стартапах, навыки продуктовой аналитики.

• Расширенная медицинская страховка с первого месяца работы, включающая плановую и неотложную помощь, лечение критических заболеваний, ментальное здоровье, ежегодные чекапы, стоматологию и коррекцию зрения;
• Оплата 30 дней больничного в году в полном объеме;
• Наличие кабинетов терапевта в крупных офисах;
• Оплата ведения беременности и родов для сотрудниц и жён сотрудников (при стаже от двух лет);
• Система страхования родственников 80/20.