ml инженер предобучения больших языковых моделей

Команда занимается предобучением больших языковых моделей GigaChat: проектирует архитектуру, подбирает рецепт обучения и поддерживает инженерный контур. Модель обучалась на кластерах H100 и B200.

• Взять на себя целое направление внутри предобучения и развивать его: от постановки задач и планирования экспериментов до внедрения результатов в основное обучение;
• Проектировать и проводить эксперименты: формулировать гипотезы, запускать абляции, сравнивать подходы, разбираться в результатах и превращать выводы в решения для основного обучения;
• Разбираться с нестабильностью на больших прогонах: искать причины деградаций, строить диагностические метрики, предлагать изменения в оптимизаторе, расписании скорости обучения, нормализации, инициализации, клиппинге, точности вычислений и маршрутизации;
• Работать с архитектурой смеси экспертов (MoE): маршрутизатором, балансировкой нагрузки, переполнением, артефактами маршрутизации и их влиянием на качество и производительность;
• Поддерживать большие прогоны и продолжения обучения с контрольных точек: следить за дрейфом, проверять изменения в коде и конфигурации, снижать риск регрессий;
• Улучшать инженерное качество контура обучения: проводить ревью критичных изменений, разрабатывать стратегию тестирования, повышать воспроизводимость экспериментов, профилировать и устранять узкие места.

• Глубоко понимать устройство обучения нейросетей и уметь объяснить расхождение прогона по кривым функции потерь, нормам градиентов и энтропии;
• Уметь самостоятельно взять направление и довести его до результата: от чтения статей и постановки гипотез до внедрения в основное обучение;
• Иметь практический опыт с PyTorch и обучением моделей, а не только инференсом;
• Уметь доводить исследовательские идеи до надёжных инженерных решений: обеспечивать воспроизводимость, работать с конфигурациями и тестами, автоматизировать процессы и определять критерии качества;
• Владеть хорошей инженерной культурой: аккуратно оформлять запросы на слияние изменений, профилировать, следить за качеством кода и готовить понятные отчёты об экспериментах;
• Будет плюсом опыт со смешанной точностью и распределённым обучением, построения систем оценки моделей или инфраструктуры для экспериментов.

• Возможность оформления в аккредитованную IT-компанию;
• Годовая премия по итогам работы до 6 окладов;
• Регулярный пересмотр зарплат;
• Корпоративный спортзал и зоны отдыха;
• Более 400 программ СберУниверситета;
• Программа адаптации и помощь руководителя на старте;
• Доступ к сообществу специалистов по анализу данных и искусственному интеллекту, обмену знаниями, лекциям, мастер-классам, дайджестам, отчётам с конференций и внутренним встречам;
• Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа;
• Ипотека для сотрудников по дисконтной программе;
• СберПрайм+ и скидки у партнёров;
• Бонус за рекомендации в команду.