описание
Команда развивает GigaChat — AI-проект Сбера с флагманскими языковыми моделями. Для обучения моделей используются кластеры H100 и B200; одна из обученных MoE-моделей насчитывает 700 миллиардов параметров.
задачи
- Развивать архитектуру моделей GigaChat;
- Определять приоритетные направления развития архитектуры pretrain-моделей, способы измерения прогресса и ограничения роста качества;
- Проектировать архитектуру флагманских моделей и принимать ключевые решения по attention, позиционным схемам, нормализациям, активациям и инициализации;
- Развивать MoE-архитектуру: маршрутизацию, балансировку экспертов, устойчивость маршрутизатора и влияние архитектуры на качество и производительность;
- Работать с long-context и мультимодальностью на уровне архитектуры;
- Изучать и применять законы масштабирования;
- Проводить scaling-эксперименты и на их основе выбирать размер модели, ширину и глубину, число и размер экспертов, размер батча и длительность обучения;
- Предсказывать поведение архитектурных изменений при переходе от небольших абляций к полному масштабу;
- Определять и развивать метрики для оценки архитектурных изменений при обучении моделей;
- Определять, какие архитектурные изменения повышают качество по сравнению с базовыми решениями;
- Анализировать стабильность архитектурных решений и причины нестабильности на больших прогонах;
- Предлагать изменения в нормализациях, клиппинге, точности вычислений и структуре блоков для повышения предсказуемости обучения;
- Обеспечивать безопасное масштабирование крупных архитектурных изменений в основном цикле обучения;
- Самостоятельно писать и дорабатывать архитектурные компоненты и абляции;
- Проводить надёжные и воспроизводимые эксперименты, контролировать версии данных и конфигураций, сравнивать запуски и отслеживать деградации;
- Читать статьи, воспроизводить ключевые результаты и адаптировать идеи к задачам и инфраструктуре;
- Руководить командой исследователей и инженеров, задавать высокую планку качества решений, скорости работы и глубины проработки;
- Помогать команде превращать архитектурные идеи в решения для основного цикла обучения;
- Сохранять баланс между глубиной исследований, инженерной надёжностью и практическим результатом для модели.
требования
- Отлично владеть Python и PyTorch;
- Глубоко понимать обучение нейросетей и уметь объяснять причины расхождения архитектурных конфигураций по кривым функции потерь, нормам градиентов и энтропии;
- Глубоко понимать архитектуру LLM: Transformer, attention (MHA/GQA/MLA), RoPE и варианты позиционных эмбеддингов, нормализации, инициализации, long-context и MoE;
- Иметь практический опыт обучения больших моделей и проведения архитектурных абляций;
- Уметь самостоятельно вести направление от изучения статей и постановки гипотез до внедрения решений в основной цикл обучения;
- Уметь ставить гипотезы, проектировать эксперименты и принимать решения по их результатам;
- Иметь опыт руководства технической командой и быть готовым лично писать важные части системы.
условия
- Ежегодный пересмотр зарплаты и годовая премия;
- Корпоративный спортзал и зоны отдыха;
- Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития;
- Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа;
- Ипотека выгоднее до 7% для каждого сотрудника;
- Бесплатная подписка СберПрайм+, скидки на продукты компаний-партнёров;
- Вознаграждение за рекомендацию друзей в команду Сбера.
навыки
компания
Крупнейший российский банк и экосистема. Предоставляет банковские услуги: кредиты, вклады, карты, ипотека. Развивает сервисы: доставка, здоровье, развлечения, облачные технологии и ИИ. Удобно для финансов и повседневных задач.
Подробнее о компании →