Python разработчик

Команда ML-инфраструктуры занимается развитием сервиса GigaChat, работая над задачами распределённого обучения и эффективностью моделей.

• Развивать коммуникационный стек для распределённого обучения;
• Профилировать и оптимизировать коллективные операции и перекрытие вычислений с коммуникациями;
• Внедрять и дорабатывать интеграции с NCCL, NVSHMEM, кастомными коммуникационными ядрами и алгоритмами;
• Добиваться линейного масштабирования обучения за счёт оптимизации коммуникаций;
• Анализировать особенности сети и использовать их при настройке стека;
• Внедрять FP8, FP4 и смешанную точность в пайплайны обучения с сохранением стабильности;
• Разрабатывать и интегрировать низкоуровневые ядра, стратегии масштабирования и методы квантизации;
• Проводить численный анализ точности и сходимости моделей;
• Выстраивать процесс безопасного внедрения изменений в точности;
• Находить узкие места в обучении на уровне ядер, коммуникаций и памяти;
• Писать кастомные оптимизации под аппаратное обеспечение;
• Выстраивать бенчмарки и регрессии производительности;
• Взаимодействовать с командами обучения, бэкенда и инфраструктуры;
• Брать на себя ответственность за компоненты системы от идеи до результата;
• Делиться знаниями и участвовать в код-ревью.

• Отличное владение Python и PyTorch;
• Практический опыт в распределённом обучении и эффективном глубоком обучении;
• Понимание коммуникационного стека больших обучений;
• Понимание влияния низкой точности на обучение и стабильность моделей;
• Умение разбираться в сложных системах и самостоятельно устранять узкие места;
• Способность писать чистый и надёжный код;
• Будет плюсом опыт написания CUDA или Triton ядер, понимание архитектуры NVIDIA GPU, опыт работы с FP8/FP4 обучением и низкоуровневыми библиотеками, опыт с NVSHMEM, RDMA/IB, кастомными алгоритмами, понимание архитектуры LLM, опыт оптимизации MoE-моделей, публикации или вклад в open-source.

• Ежегодный пересмотр зарплаты;
• Годовая премия;
• Корпоративный спортзал и зоны отдыха;
• Доступ к образовательным программам СберУниверситета;
• Расширенный ДМС и льготное страхование для семьи;
• Корпоративная пенсионная программа;
• Ипотека по льготной ставке до 7%;
• Подписка СберПрайм+;
• Скидки на продукты компаний-партнеров;
• Вознаграждение за рекомендацию друзей в команду.