ml инженер для робототехники

Центр робототехники Сбера разрабатывает модели, которые помогают роботам понимать окружающий мир, выполнять инструкции и решать задачи в реальных условиях. Команда работает над Vision-Language-Action (VLA) и World Action Models (WAM), объединяя обучение на изображениях, видео, языке и робототехнических данных.

• Разрабатывать и обучать VLA/WAM-модели для понимания сцен и инструкций, предсказания динамики окружающего мира и генерации действий робота;
• Развивать методы предобучения на изображениях, видео, текстах, демонстрациях и траекториях роботов;
• Дообучать и адаптировать модели под новые задачи, объекты, условия и робототехнические платформы;
• Исследовать архитектуры, представления действий и функции потерь, включая transformer-, autoregressive- и diffusion/flow matching-подходы;
• Формировать смеси обучающих данных и выбирать стратегии семплирования;
• Исследовать влияние качества, объёма и состава данных на способности моделей;
• Разрабатывать и оптимизировать пайплайны распределённого обучения на GPU-кластерах;
• Повышать стабильность обучения, эффективность вычислений и использования памяти;
• Проводить воспроизводимые эксперименты и абляционные исследования;
• Анализировать динамику обучения и причины ошибок;
• Разрабатывать методики оценки моделей;
• Измерять качество предсказаний и действий, успешность выполнения задач, устойчивость и перенос на новые условия;
• Интегрировать модели в контур управления совместно с командами робототехники и инфраструктуры;
• Проверять модели на реальных роботах;
• Формировать рекомендации по сбору дополнительных данных и улучшению обучающих выборок на основе результатов экспериментов и испытаний.

• Опыт разработки и обучения современных DL-моделей в computer vision, video understanding/generation, multimodal learning, LLM/VLM или robot learning;
• Уверенное владение Python и PyTorch;
• Хорошее понимание современных нейросетевых архитектур, особенно transformers, методов оптимизации и принципов обучения на последовательностях;
• Практический опыт предобучения или дообучения моделей: подготовка данных, выбор функций потерь, настройка обучения, оценка качества и анализ ошибок;
• Опыт работы с большими датасетами и эффективными пайплайнами загрузки и обработки данных;
• Опыт обучения моделей на нескольких GPU и понимание принципов распределённого обучения;
• Умение формулировать исследовательские гипотезы, планировать эксперименты и делать обоснованные выводы;
• Умение писать поддерживаемый и воспроизводимый код, работать с Git и инструментами отслеживания экспериментов;
• Способность читать научные статьи и реализовывать перспективные подходы;
• Самостоятельность и готовность доводить исследовательскую идею до работающей модели совместно со смежными командами;
• Будет плюсом опыт работы с VLA, world models, action-conditioned video models, embodied AI, imitation learning, behavior cloning, diffusion policies, diffusion, flow matching, мультимодальным и self-supervised обучением, reinforcement learning, offline RL, FSDP, DeepSpeed, Megatron, scaling laws, реальными роботами, генеративными AI-моделями, AI-агентами, GigaChat, Kandinsky, а также наличие публикаций, открытых проектов или воспроизводимых исследовательских результатов.

• Ежегодный пересмотр зарплаты, квартальная и годовая премия;
• Корпоративный спортзал и зоны отдыха;
• Более 400 образовательных программ СберУниверситета;
• Программа адаптации и помощь руководителя на старте;
• Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа;
• Льготный дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ;
• Подписка Прайм с возможностью совместного использования на трёх близких;
• Вознаграждение за рекомендацию друзей в команду Сбера.