аналитик данных качества LLM

Алиса — популярный ассистент, которым ежедневно пользуются миллионы людей. Команда развивает качество ключевой LLM-технологии Яндекса, оценивая ответы моделей на реальные запросы и используя результаты для принятия решений о релизах.

• Организовывать приёмки новых версий моделей: готовить оценочные наборы, ставить задачи по аспектам качества, настраивать и запускать пайплайны оценки;
• Контролировать параллельные приёмки с учётом сроков релизов;
• Следить за статусом разметки, выявлять и устранять сбои, отслеживать недоставленные или потерянные данные;
• Разбираться в причинах сбоев и доводить модель до работающего результата вместе с командами краудсорса и смежными командами;
• Сводить результаты разных аспектов оценки, считать значимость, отличать реальные изменения от шума и объяснять расхождения между оценками людей и автоматических оценщиков;
• Готовить заключения по релизам с разбором сценариев и примерами, а также еженедельные сводки для ML-команд и продукта;
• Формулировать требования к автоматизации приёмки, тестировать новые инструменты и брать на себя задачи, которые высвобождает автоматизация.

• Уверенно работать с Python и SQL;
• Знать математическую статистику и теорию вероятностей;
• Доводить до конца многошаговые процессы с внешними зависимостями, чужими пайплайнами, пулами разметки и сроками смежных команд;
• Формулировать обоснованные выводы по данным и защищать их перед заказчиками;
• Быть самостоятельным и готовым браться за новые задачи без готового решения;
• Интересоваться развитием LLM и быть готовым глубоко погрузиться в тему;
• Будет плюсом проводить оценку качества LLM с использованием голден-сетов, LLM-as-a-Judge и контроля разметки, работать на стыке офлайн-оценки и онлайн-экспериментов, оценивать агентские сценарии и мультимодальные модели, применять NLP, краудсорсинговую разметку и ML.

• Расширенная медицинская страховка с первого месяца работы, включая плановую и неотложную помощь за рубежом, страхование от несчастных случаев, лечение критических заболеваний, стоматологию и ежегодные чекапы;
• Онлайн-консультации с психологами и психотерапия в офисах с соответствующим кабинетом;
• 30 Дней оплачиваемого больничного в году с сохранением полной зарплаты;
• После года работы страховка покрывает коррекцию зрения и хирургическое лечение косоглазия;
• Для сотрудниц и жён сотрудников, работающих в компании более двух лет, оплачиваются ведение беременности и роды;
• Страховка для детей и супругов по системе 80/20: компания оплачивает 80% стоимости, сотрудник — 20%;
• Компенсация от 100М токенов для экспериментов и оптимизации рутины, доступ к передовым моделям.