аналитик данных LLM-агентов Алисы

Команда Алисы и Умных Устройств развивает LLM-агентов Алисы для миллионов пользователей, современные языковые модели и интеллектуальные системы. В команде запускаются новые проекты по оценке качества моделей и подготовке данных.

• Улучшать качество LLM-агентов Алисы;
• Изучать ответы моделей, выявлять типичные ошибки и точки роста;
• Улучшать поведение агентов с помощью prompt engineering и context engineering;
• Участвовать в приёмке новых версий моделей;
• Анализировать результаты экспериментов;
• Сравнивать модели по ключевым метрикам качества;
• Формировать задания на разметку;
• Готовить корзины данных;
• Контролировать качество разметки;
• Подготавливать обучающие и learn-датасеты;
• Применять статистические методы для проверки гипотез;
• Работать с системами автоматической оценки ответов, включая LLM-as-a-Judge;
• Писать аналитические скрипты на Python для обработки данных;
• Участвовать в развитии процессов оценки и улучшения работы LLM-агентов.

• Уверенно владеть Python и иметь опыт работы с данными;
• Иметь опыт работы с текстовыми данными или задачами NLP;
• Понимать базовые статистические методы;
• Уметь анализировать результаты экспериментов с помощью статистических тестов;
• Уметь анализировать метрики качества моделей и проверять гипотезы;
• Уметь готовить и структурировать датасеты;
• Быть внимательным к деталям и уметь работать с большими объёмами текстовых данных;
• Уметь разбираться в сложных системах и находить причины ошибок моделей;
• Будет плюсом опыт работы с LLM или генеративными моделями, опыт работы с разметкой данных или управления процессом разметки, построения evaluation-пайплайнов для моделей, понимание принципов работы современных LLM.

• Расширенная медицинская страховка с первого месяца работы;
• Оплачиваемые 30 дней больничного в году;
• ДМС покрывает чекапы, вакцинацию, стоматологию, коррекцию зрения и лечение за рубежом;
• Психологические консультации и психотерапия в офисах, где есть кабинет психотерапевта;
• Оплата ведения беременности и родов для сотрудниц и жён сотрудников, работающих более двух лет;
• ДМС для детей и супругов по системе 80/20.