Python Developer

Команда развивает GigaChat и обучает большие языковые модели на кластерах H100 и B200, при этом pretrain является ядром самого быстрорастущего AI-проекта Сбера.

• Развивать архитектуру моделей GigaChat;
• Определять, как должна развиваться архитектура pretrain-моделей: какие направления наиболее важны, как измерять прогресс и что в первую очередь ограничивает рост качества модели;
• Проектировать архитектуру флагманских моделей и отвечать за ключевые архитектурные решения: attention, позиционные схемы, нормализации, активации, инициализация;
• Развивать MoE-архитектуру: маршрутизация, балансировка экспертов, устойчивость маршрутизатора, влияние на качество и производительность;
• Работать с long-context и мультимодальностью на уровне архитектуры: что именно нужно менять в модели, чтобы эти возможности работали стабильно;
• Изучать и применять законы масштабирования;
• Проводить scaling-эксперименты и на их основе принимать решения по размеру модели, ширине / глубине, числу и размеру экспертов, размерам батча и длительности обучения;
• Предсказывать, как архитектурные изменения поведут себя при переходе с небольших абляций на полный масштаб;
• Определять и развивать метрики, которые корректно отражают архитектурные изменения в обучении моделей;
• Определять, в каких случаях архитектурные изменения действительно дают прирост качества по сравнению с более простыми baseline'ами, а в каких — нет;
• Анализировать стабильность архитектурных решений;
• Разбираться с нестабильностью на больших прогонах со стороны архитектуры: почему конкретная конфигурация расходится, где проявляются артефакты маршрутизации, коллапс энтропии, неустойчивости в attention;
• Предлагать изменения в нормализациях, клиппинге, точности вычислений и структуре блоков, которые делают обучение более предсказуемым;
• Обеспечивать безопасное масштабирование при внедрении крупных архитектурных изменений в основной трейн;
• Писать ключевой код и оставаться сильным исследователем;
• Самостоятельно писать и дорабатывать архитектурные компоненты и абляции;
• Делать надёжные и воспроизводимые эксперименты: понятные версии данных, конфиги, сравнение запусков, контроль деградаций;
• Читать статьи, воспроизводить ключевые результаты и адаптировать лучшие идеи под наши задачи и инфраструктуру;
• Руководить сильной технической командой;
• Руководить командой исследователей и инженеров, работающих над архитектурой, задавать высокую планку по качеству решений, скорости работы и глубине проработки;
• Помогать команде превращать архитектурные идеи в работающие решения, которые можно встроить в основной цикл обучения;
• Удерживать баланс между глубиной исследований, инженерной надёжностью и практическим результатом для модели.

• Отличное владение Python и PyTorch;
• Глубокое понимание устройства обучения нейросетей: на уровне, где вы можете объяснить, почему конкретная архитектурная конфигурация расходится, глядя на кривые функции потерь, нормы градиентов и энтропии;
• Глубокое понимание архитектуры LLM: Transformer, attention, позиционные эмбеддинги, нормализации, инициализации, long-context, MoE;
• Практический опыт с обучением больших моделей и проведением архитектурных абляций;
• Способность самостоятельно взять направление и довести его до результата: от чтения статей и постановки гипотез до внедрения в основной трейн;
• Умение ставить гипотезы, проектировать эксперименты и принимать решения на основе результатов;
• Опыт руководства сильной технической командой и готовность лично писать важные части системы руками.

• Ежегодный пересмотр зарплаты, годовая премия;
• Корпоративный спортзал и зоны отдыха;
• Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития;
• Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа;
• Ипотека выгоднее до 7% для каждого сотрудника;
• Бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров;
• Вознаграждение за рекомендацию друзей в команду Сбера.