deep learning engineer

Команда отвечает за машинное обучение для понимания аудио в Сбере. Сервис разрабатывает мультимодальные возможности для GigaChat, включая работу с аудио- и визуальными контекстами, а также обучение моделей пониманию видео через звуковой поток и кадры.

• Проводить эксперименты по обучению Vision, Audio и Video LLM, включая работу с данными, стадиями обучения и способами смешивания модальностей;
• Оптимизировать ML-инфраструктуру для обучения на длинных мультимодальных контекстах;
• Формулировать и проверять гипотезы по улучшению качества LLM на видео.

• Сильный опыт в DL-инженерии, желательно в обучении LLM-моделей;
• Глубокое знание PyTorch, включая DDP и FSDP;
• Понимание распределенного обучения и эффективного глубокого обучения: DP, TP, PP, EP, SP, смешанная точность, чекпоинтинг, оффлоадинг, профилирование и оптимизация обучения;
• Понимание архитектуры LLM: Transformer, attention (MHA, GQA, MLA), RoPE и другие позиционные эмбеддинги, длинный контекст, MoE;
• Уверенное владение Python на уровне production-кода: asyncio, многопроцессорность, профилирование, отладка больших систем;
• Будет плюсом опыт обучения мультимодальных LLM, опыт снижения стоимости контекста при обработке видео, опыт расширения контекста LLM, понимание RL-подходов для обучения моделей (RLHF, RLVR, PPO, GRPO, DPO), опыт построения бенчмарков с использованием LLM-as-a-judge.

• Крупнейшее DS&AI community, состоящее из более чем 600 специалистов;
• Дайджест о последних разработках в области DS&AI и отчеты с международных конференций;
• Возможность быть соавтором НИРов и статей для международных конференций;
• Ежегодный пересмотр зарплаты и годовая премия;
• Корпоративный спортзал и зоны отдыха;
• Более 400 образовательных программ СберУниверситета;
• Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа;
• Ипотека с льготной ставкой до 7%;
• Бесплатная подписка СберПрайм+ и скидки на продукты компаний-партнеров;
• Вознаграждение за рекомендацию друзей в команду.