ml инженер online RL для GigaChat

Команда развивает GigaChat и методы online RL, превращая исследовательские идеи в работающие решения для обучения и повышения качества модели.

• Разрабатывать и улучшать методы online RL
• Реализовывать и дорабатывать подходы post-training и online RL
• Проектировать и проводить эксперименты: формулировать гипотезы, подбирать конфигурации, анализировать результаты и причины изменений
• Оценивать устойчивость результатов и возможность масштабирования на другие домены и типы задач
• Следить за современными исследованиями, воспроизводить результаты и адаптировать подходы под задачи и инфраструктуру
• Разрабатывать и поддерживать пайплайны online RL — от генерации rollout'ов и сбора reward-сигналов до обновления весов модели
• Обеспечивать воспроизводимость экспериментов: версионировать данные, конфигурации и чекпоинты, контролировать деградации
• Оптимизировать пропускную способность и использование GPU, применять распределённое обучение, параллелизм и профилирование узких мест
• Связывать модель, среды исполнения, верификаторы и reward-модели для быстрой проверки новых идей
• Участвовать в проектировании и реализации reward-сигналов: верификаторов на правилах, reward-моделей, LLM-as-a-judge и проверок на основе исполнения
• Строить и улучшать пайплайны подготовки данных: фильтровать, удалять дубликаты, балансировать данные и контролировать утечки
• Анализировать ошибки модели, выявлять систематические слабые места и формировать целевые обучающие выборки
• Взаимодействовать с исследователями, инженерами, командами данных и инфраструктуры
• Отвечать за отдельные части системы от идеи до результата в продакшене
• Делиться знаниями, участвовать в проверке кода и помогать повышать общий уровень качества

• Отлично владеть Python и PyTorch
• Иметь практический опыт post-training для LLM: RLHF, online RL, DPO или смежные направления
• Уметь проводить ML-эксперименты от постановки гипотезы до анализа и выводов
• Понимать распределённое обучение: Data Parallel, FSDP, DeepSpeed или аналоги
• Уметь писать чистый и надёжный код для продакшена
• Уметь разбираться в сложных системах и самостоятельно находить и устранять узкие места
• Будет плюсом: опыт работы с reward-моделями и process reward models, LLM-as-a-judge, построения сред исполнения, песочниц и верификаторов для задач программирования или STEM, работы с крупномасштабным инференсом и оптимизацией генерации, знание современных открытых стеков обучения LLM, публикации, вклад в открытые проекты или сильный прикладной опыт

• Конкурентная компенсация, премии и расширенный социальный пакет
• Сложные задачи на переднем крае развития русскоязычных LLM
• Возможность напрямую влиять на качество модели, результаты видны в бенчмарках и продукте
• Работа в команде инженеров и исследователей
• Возможность совмещать инженерную и исследовательскую работу