Чтобы адаптировать резюме под вакансию или составить сопроводительное письмо, загрузите резюме
описание
Команда развивает GigaChat — AI-проект Сбера с флагманскими языковыми моделями. Для обучения моделей используются кластеры H100 и B200; одна из обученных MoE-моделей насчитывает 700 миллиардов параметров.
задачи
Развивать архитектуру моделей GigaChat;
Определять приоритетные направления развития архитектуры pretrain-моделей, способы измерения прогресса и ограничения роста качества;
Проектировать архитектуру флагманских моделей и принимать ключевые решения по attention, позиционным схемам, нормализациям, активациям и инициализации;
Развивать MoE-архитектуру: маршрутизацию, балансировку экспертов, устойчивость маршрутизатора и влияние архитектуры на качество и производительность;
Работать с long-context и мультимодальностью на уровне архитектуры;
Изучать и применять законы масштабирования;
Проводить scaling-эксперименты и на их основе выбирать размер модели, ширину и глубину, число и размер экспертов, размер батча и длительность обучения;
Предсказывать поведение архитектурных изменений при переходе от небольших абляций к полному масштабу;
Определять и развивать метрики для оценки архитектурных изменений при обучении моделей;
Определять, какие архитектурные изменения повышают качество по сравнению с базовыми решениями;
Анализировать стабильность архитектурных решений и причины нестабильности на больших прогонах;
Предлагать изменения в нормализациях, клиппинге, точности вычислений и структуре блоков для повышения предсказуемости обучения;
Обеспечивать безопасное масштабирование крупных архитектурных изменений в основном цикле обучения;
Самостоятельно писать и дорабатывать архитектурные компоненты и абляции;
Проводить надёжные и воспроизводимые эксперименты, контролировать версии данных и конфигураций, сравнивать запуски и отслеживать деградации;
Читать статьи, воспроизводить ключевые результаты и адаптировать идеи к задачам и инфраструктуре;
Руководить командой исследователей и инженеров, задавать высокую планку качества решений, скорости работы и глубины проработки;
Помогать команде превращать архитектурные идеи в решения для основного цикла обучения;
Сохранять баланс между глубиной исследований, инженерной надёжностью и практическим результатом для модели.
требования
Отлично владеть Python и PyTorch;
Глубоко понимать обучение нейросетей и уметь объяснять причины расхождения архитектурных конфигураций по кривым функции потерь, нормам градиентов и энтропии;
Глубоко понимать архитектуру LLM: Transformer, attention (MHA/GQA/MLA), RoPE и варианты позиционных эмбеддингов, нормализации, инициализации, long-context и MoE;
Иметь практический опыт обучения больших моделей и проведения архитектурных абляций;
Уметь самостоятельно вести направление от изучения статей и постановки гипотез до внедрения решений в основной цикл обучения;
Уметь ставить гипотезы, проектировать эксперименты и принимать решения по их результатам;
Иметь опыт руководства технической командой и быть готовым лично писать важные части системы.
условия
Ежегодный пересмотр зарплаты и годовая премия;
Корпоративный спортзал и зоны отдыха;
Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития;
Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа;
Ипотека выгоднее до 7% для каждого сотрудника;
Бесплатная подписка СберПрайм+, скидки на продукты компаний-партнёров;
Вознаграждение за рекомендацию друзей в команду Сбера.
.svg)
