ml разработчик претрейна мультимодальных моделей Alice AI VLM

Команда претрейна Alice AI VLM строит мультимодальные базовые модели. Она исследует архитектурные и обучающие решения, масштабирует обучение на больших объёмах данных и развивает способности моделей понимать мир через разные модальности.

• Исследовать архитектуры, рецепты и режимы обучения мультимодальных моделей
• Находить подходы, улучшающие базовые способности модели и связь между визуальной и текстовой модальностями
• Оценивать улучшения качества на открытых тестах и в прикладных задачах
• Работать с большими массивами мультимодальных данных из разных доменов
• Определять состав обучающих данных: домены, форматы и пропорции
• Исследовать scaling laws и снижать шум в данных
• Превращать работу с данными в масштабируемый конвейер
• Работать с распределённым обучением
• Профилировать узкие места и следить за эффективностью использования GPU
• Улучшать стабильность запусков и воспроизводимость экспериментов

• Опыт в CV и NLP, хорошее понимание устройства современных LLM и VLM
• Понимание распределённого обучения больших моделей
• Умение формулировать исследовательские гипотезы и проверять их экспериментально
• Умение аккуратно ставить эксперименты, корректно сравнивать подходы и выделять реальные улучшения
• Умение писать понятный рабочий код и доводить идеи до воспроизводимого результата
• Будет плюсом: обучение больших моделей или работа с крупными DL-системами, опыт с конвейерами предобучения LLM/VLM, знакомство с Megatron, DeepSpeed, FSDP, PyTorch Distributed или аналогичными инструментами

• Условий в вакансии нет