Привет, я Даниил Смирнов. Моя команда разрабатывает ИИ-функции в сервисах Яндекс 360. Для улучшения качества Алисы AI для бизнеса и многих других ИИ-функций нам нужны опытные разработчики и аналитики. Мы ищем ML-аналитика, который возьмёт на себя оценку качества продуктовых ИИ-функций и агентов.
вчера
ML-аналитик ИИ-функций
ориентир по рынку
вакансия
зп не указана
в среднем
285 310 ₽
мэтч
Загрузи резюме, чтобы видеть мэтчи с вакансиейЗагрузи резюме, чтобы видеть мэтч с вакой
подготовься к отклику
ai-инструментыЧтобы адаптировать резюме под вакансию или составить сопроводительное письмо, загрузи резюме
описание
задачи
- Вам предстоит разработать и внедрить LLM-as-a-judge для автоматической оценки ответов моделей, а также построить eval-систему для оценки качества агентов.
- С её помощью команда будет проверять, насколько хорошо агенты решают пользовательские задачи и работают с тулами на каждом шаге.
- Вы будете работать с текстовыми и мультимодальными данными, создавая надёжные и эффективные пайплайны для сбора данных обучения и оценки.
- Ваша задача — автоматизировать процессы, чтобы данные были всегда актуальными и качественными.
- Вы поможете разработать систему офлайн-метрик для агентов Яндекс 360: определить критерии качества, построить пайплайны и подобрать данные для оценки.
- Важной частью работы будет интеграция ваших решений в продовые процессы команды ML-разработчиков и аналитиков.
требования
- Уверенно работаете с Python и SQL, анализируете данные с помощью pandas или похожих инструментов
- Пишете поддерживаемый аналитический код и умеете доводить пайплайны до регулярной работы
- Хорошо знаете теорию вероятностей и математическую статистику
- Понимаете, как работают ML-модели и как оценивать их качество
- Умеете ставить эксперименты, собирать репрезентативные выборки и находить смещения в данных
- Можете связать качество модели с продуктовым сценарием и поведением пользователей
- Самостоятельно разбираетесь в новой области и умеете договориться с разработчиками и продуктовыми командами о критериях качества
- Будет плюсом: Оценивали LLM, RAG-системы или агентов, которые работают с инструментами; Работали с экспертной или краудсорсинговой разметкой; Проводили онлайн-эксперименты и анализ продуктовых метрик; Знакомы с NLP или мультимодальными моделями; Запускали новую аналитическую или ML-практику
условия
- Условий в вакансии нет
навыки
Платформа объединённых облачных сервисов для бизнеса с почтой, календарём, дисковым хранилищем, видеозвонками, чатом, управлением задач, телефонией и защитой данных, которая помогает компаниям организовать совместную работу и надёжно хранить информацию.
Подробнее о компании →Если просят выйти из iCloud, прислать код из SMS, запустить или установить что-то, перевести деньги — не соглашайся: это мошенничество.
