ml инженер LLM

Команда отвечает за скорость и стабильность обучения моделей Alice AI LLM. Она разрабатывает фреймворк для распределённого обучения на сотнях GPU, ускоряет и улучшает базовые модели, которые публикуются в open source и интегрируются в ключевые сервисы. Фреймворком пользуются почти все LLM-инженеры Яндекса, а отдельные части доступны в открытом доступе.

• Повышать скорость и стабильность претрейна Alice AI LLM;
• Реализовывать разные виды распределённого обучения;
• Ускорять обучение на тысячах GPU с помощью типов пониженной точности и CUDA/Triton-кернелов;
• Экспериментировать с архитектурами и оптимизаторами;
• Улучшать работу с контекстами длиной в сотни тысяч токенов;
• Проектировать и писать с нуля модули единой кодовой базы для LLM-обучений;
• Разрабатывать инфраструктуру обучения от претрейна до алаймента и мультимодальных обучений;
• Проводить эксперименты;
• Изучать современные научные статьи;
• Реализовывать недостающие части описанных в статьях методов;
• Улучшать наработки NVIDIA и DeepSeek;
• Рассказывать о результатах на внутренних LLM-семинарах, лекциях в ШАДе и конференциях.

• Опыт обучения трансформерных моделей на PyTorch с нуля;
• Умение писать качественный код и знание инженерных практик;
• Понимание устройства современных LLM;
• Будет плюсом опыт распределённого обучения, знание FSDP и контекстного параллелизма, разработка на CUDA/Triton, умение написать backward для Flash Attention, сильные знания математики и умение объяснить, что такое многообразие.

• Расширенная медицинская страховка с первого месяца работы;
• Плановая и неотложная медицинская помощь за рубежом;
• Страхование от несчастных случаев для любителей активного отдыха;
• Лечение критических заболеваний;
• Консультации психологов онлайн и психотерапия в офисах с соответствующим кабинетом;
• Ежегодные чекапы и вакцинация по ДМС;
• 30 Оплачиваемых больничных дней в году;
• Стоматология, включая плановые процедуры, профессиональную чистку и экстренную помощь за рубежом;
• После года работы ДМС покрывает коррекцию зрения и хирургическое лечение косоглазия;
• Кабинеты врачей-терапевтов в крупных офисах;
• Оплата ведения беременности и родов для сотрудниц и жён сотрудников, работающих более двух лет;
• ДМС для детей и супругов по системе 80/20.