deep learning engineer
генерация резюме под вакансию
сопроводительное письмо
описание
Команда отвечает за исследование архитектуры и обучение моделей Alice AI LLM. Деятельность включает претрейн больших языковых моделей, проведение экспериментов с современными подходами и оптимизацию распределённого обучения на GPU-кластере для внедрения базовых моделей в продукты Яндекса.
задачи
- Реализовывать и исследовать архитектуры больших языковых моделей и составные части процесса обучения;
- Ставить эксперименты для достижения максимального качества и эффективного инференса моделей;
- Ускорять обучение моделей на кластере, исследовать и реализовывать стратегии параллелизма;
- Профилировать CUDA и CPU-код для поиска узких мест;
- Анализировать современные публикации по теме, выявлять перспективные подходы, воспроизводить и улучшать их.
требования
- Опыт обучения и реализации трансформерных моделей на PyTorch;
- Понимание устройства современных больших языковых моделей;
- Опыт в распределённом обучении и знание используемых алгоритмов;
- Крепкая база в машинном обучении;
- Будет плюсом разработка на CUDA или Triton, умение выявлять и устранять проблемы при обучении на GPU, знание FSDP, ZeRO и концепций параллелизма моделей.
условия
- Расширенная медицинская страховка с первого месяца, включая стоматологию и онлайн-консультации психологов;
- Оплата 30 дней больничного в году в полном объёме;
- Ежегодные чекапы и вакцинация по ДМС;
- Коррекция зрения после года работы;
- Терапевты в крупных офисах;
- Оплата ведения беременности и родов для сотрудников и их супругов со стажем от двух лет;
- Страхование родственников по системе 80/20.
навыки
Если просят войти через iCloud, отправить коды из SMS, запустить код, что-то установить, перевести деньги или сделать что угодно, связанное с деньгами, не соглашайтесь: это признаки мошенничества.