ml инженер мультимодальной генерации

Исследуются и внедряются методы инструктивного редактирования изображений и видео, интеграции аудио в генерацию видео и повышения качества с помощью RLHF.

• Разрабатывать и обучать диффузионные модели для инструктивного редактирования видео и изображений
• Исследовать архитектуры для совместной генерации видео и синхронизированного аудио по текстовому запросу
• Создавать конвейер RLHF для тонкой настройки моделей
• Обучать мультимодальные модели вознаграждения для видео, аудио и текста
• Интегрировать алгоритмы RL (PPO, DPO, GRPO, OPD) в конвейер диффузионных моделей
• Проектировать эксперименты и анализировать результаты
• Тесно сотрудничать с инженерами распределённых систем для эффективной реализации идей

• Сильная база в компьютерном зрении, генеративных моделях и мультимодальном машинном обучении
• Опыт работы с диффузионными моделями и Diffusers
• Практические знания обучения с подкреплением, особенно RLHF
• Уверенное владение PyTorch и навыки распределённого обучения (DDP/FSDP)
• Умение быстро создавать прототипы и исследовать современные методы
• Опыт работы с SGLang, vLLM и Transformers
• Будет плюсом: опыт генерации аудио и публикации на NeurIPS, ICML или CVPR

• Комфортный современный офис рядом с метро «Кутузовская»
• Ежегодный пересмотр зарплаты и годовая премия
• Корпоративный спортзал и зоны отдыха
• Система обучения для профессионального и карьерного развития
• Расширенный полис ДМС с первого дня работы и страхование для семьи
• Льготная программа ипотеки для сотрудников
• Бесплатная подписка СберПрайм+ и скидки на продукты компаний-партнёров
• Вознаграждение за рекомендацию друзей в команду Сбера