ml инженер для русскоязычных LLM

Команда развивает GigaChat — проект больших языковых моделей. Она обучила MoE-модель на 700 миллиардов параметров; обучение проходит на кластерах H100 и B200.

• Развивать архитектуру моделей GigaChat и определять приоритеты развития pretrain-моделей;
• Проектировать архитектуру флагманских моделей и принимать ключевые архитектурные решения;
• Развивать MoE-архитектуру, включая маршрутизацию и балансировку экспертов;
• Работать с long-context и мультимодальностью на уровне архитектуры;
• Проводить scaling-эксперименты и принимать решения о параметрах обучения моделей;
• Предсказывать поведение архитектурных изменений при переходе от небольших абляций к полному масштабу;
• Определять и развивать метрики архитектурных изменений;
• Оценивать влияние архитектурных изменений на качество модели относительно baseline;
• Анализировать архитектурные причины нестабильности больших запусков;
• Предлагать изменения, повышающие предсказуемость обучения;
• Обеспечивать безопасное масштабирование крупных архитектурных изменений в основном обучении;
• Самостоятельно писать и дорабатывать архитектурные компоненты и абляции;
• Проводить надёжные и воспроизводимые эксперименты;
• Читать статьи, воспроизводить результаты и адаптировать идеи под задачи и инфраструктуру;
• Разбирать узкие места в коде, экспериментах и настройках обучения;
• Руководить командой исследователей и инженеров, задавать стандарты качества и скорости работы;
• Помогать команде превращать архитектурные идеи в решения для основного цикла обучения;
• Балансировать глубину исследований, инженерную надёжность и практический результат для модели.

• Отличное владение Python и PyTorch;
• Глубокое понимание обучения нейросетей и причин нестабильности архитектурных конфигураций;
• Глубокое понимание архитектуры LLM: Transformer, attention, RoPE, позиционных эмбеддингов, нормализаций, инициализации, long-context и MoE;
• Практический опыт обучения больших моделей и проведения архитектурных абляций;
• Умение самостоятельно вести направление от изучения статей и постановки гипотез до внедрения в основной цикл обучения;
• Умение проектировать эксперименты и принимать решения по их результатам;
• Опыт руководства технической командой и готовность самостоятельно писать важные части системы;
• Будет плюсом опыт работы с MoE-архитектурами, scaling-экспериментами и законами масштабирования, long-context и мультимодальными расширениями LLM, distributed training и large-scale инференсом, публикации, вклад в open-source, сильный прикладной исследовательский опыт и знание современных стеков обучения больших языковых моделей.

• Конкурентная компенсация, премии и расширенный социальный пакет;
• Сильные и сложные задачи на переднем крае развития русскоязычных LLM;
• Возможность влиять на архитектуру, методы обучения и качество модели;
• Команда сильных инженеров и исследователей;
• Возможность совмещать руководство направлением с глубокой технической работой.