аналитик данных приёмки моделей

Алиса — популярный ассистент в России, которым ежедневно пользуются миллионы людей. Команда развивает качество ключевой LLM-технологии Яндекса, чтобы модели становились умнее, полезнее и надёжнее. Приёмка моделей помогает оценивать изменения качества перед релизом и принимать решение о выкатке.

• Полностью вести приёмку новых версий моделей: определять необходимые замеры, запускать оценки, объединять результаты и готовить заключение о качестве модели;
• Разбирать сценарии и приводить конкретные примеры изменений в заключении о качестве модели;
• Развивать систему метрик качества моделей;
• Определять обязательные сигналы и объединять разные оценки в общую картину;
• Рассчитывать статистическую значимость и отличать реальные изменения от случайного шума;
• Сравнивать модели с сильными решениями на рынке;
• Определять состав оценочных наборов и следить за покрытием важных сценариев;
• Управлять версиями оценочных наборов и обеспечивать воспроизводимость замеров;
• Развивать инструментарий приёмки;
• Создавать автоматические оценщики на базе LLM и применять гибридные методы;
• Сравнивать новую модель с текущей продовой;
• Сопоставлять офлайн-оценки с онлайн-метриками и выяснять, какие из них предсказывают поведение пользователей;
• Собрать команду аналитиков приёмки;
• Распределять направления работы, наставничать и планировать ресурсы;
• Договориться о едином процессе приёмки между несколькими командами и сделать его понятным и предсказуемым для всех участников.

• Управляли командой аналитиков не менее двух лет;
• Любите работать с данными и умеете извлекать из них практический результат;
• Знаете математическую статистику и теорию вероятностей;
• Умеете писать код на Python и знаете алгоритмы;
• Умеете формулировать обоснованное заключение и защищать его перед заказчиками в условиях неполных данных;
• Самостоятельны и готовы браться за новые задачи, для которых нет готового решения;
• Интересуетесь развитием LLM и хотите глубоко погрузиться в тему;
• Будет плюсом работа с NLP, краудсорсинговыми разметками и ML, построение процессов оценки качества LLM, включая голденсеты, LLM-as-a-judge и контроль качества разметчиков, оценка агентских сценариев и мультимодальных моделей, работа на стыке офлайн-оценки и онлайн-экспериментов.

• Расширенная медицинская страховка с первого месяца работы;
• Оплачиваются 30 дней больничного в году;
• ДМС покрывает плановую и неотложную помощь за рубежом, стоматологию, ежегодные чекапы и вакцинацию;
• После года работы ДМС покрывает коррекцию зрения и хирургическое лечение косоглазия;
• Оплачиваются ведение беременности и роды для сотрудниц и жён сотрудников, которые работают в компании более двух лет;
• Для детей и супругов действует ДМС по системе 80/20: компания оплачивает 80% стоимости.