ml инженер для базовых языковых моделей

Команда исследования знаний обучает с нуля базовые модели Alice AI LLM, на которых строятся Алиса и другие продукты Яндекса. Команда отвечает за полный цикл создания претрейн-моделей: от формирования обучающего корпуса и проверки исследовательских гипотез до запусков на GPU-кластерах и анализа модели.

• Исследовать источники данных и их влияние на знания, reasoning, coding и другие способности моделей;
• Сочетать веб-данные, специализированные корпуса и синтетические данные;
• Выбирать соотношение доменов и языков в обучающей смеси;
• Менять состав обучающей смеси по ходу претрейна;
• Масштабировать выводы небольших экспериментов на крупные модели;
• Формулировать гипотезы;
• Подготавливать экспериментальные датасеты;
• Запускать обучение proxy-моделей;
• Проводить абляции и анализировать результаты;
• Определять поведение подходов при масштабировании;
• Переносить успешные изменения в обучение больших моделей;
• Исследовать динамику возникновения и развития способностей моделей во время претрейна;
• Строить scaling laws для данных и моделей;
• Разрабатывать proxy-эксперименты;
• Прогнозировать качество больших моделей по небольшим запускам;
• Искать ранние сигналы будущих способностей;
• Выбирать конфигурации обучения при заданном вычислительном бюджете;
• Развивать обработку веб-корпусов;
• Фильтровать и ранжировать документы;
• Выполнять дедупликацию;
• Балансировать языки и домены;
• Автоматически обновлять датасеты;
• Развивать распределённые пайплайны обработки данных;
• Доводить успешные методы до масштаба реального претрейна.

• Хорошо знать Python;
• Иметь опыт в ML, NLP, LLM или других областях deep learning;
• Понимать принципы работы и обучения трансформеров;
• Уметь формулировать гипотезы и ставить контролируемые эксперименты;
• Уметь анализировать результаты и находить причины изменений качества;
• Уметь читать исследовательские статьи и оценивать применимость идей на практике;
• Быть готовым работать с задачами, для которых ещё нет готовых решений;
• Будет плюсом знакомство с претрейном или посттрейном LLM, PyTorch и распределённым обучением, обработкой больших данных, подготовкой обучающих корпусов, scaling laws, оценкой LLM, synthetic data, обучением моделей на GPU-кластерах.

• Расширенная медицинская страховка с первого месяца работы;
• Оплачиваемый больничный до 30 дней в году;
• ДМС покрывает плановые медицинские услуги, неотложную помощь за рубежом, стоматологию, чекапы и вакцинацию;
• Доступны онлайн-консультации с психологами и психотерапия в офисах, где есть кабинет психотерапевта;
• После года работы ДМС покрывает коррекцию зрения и хирургическое лечение косоглазия;
• Оплачивается ведение беременности и роды для сотрудниц и жён сотрудников, работающих более двух лет;
• ДМС для детей и супругов по системе 80/20.