ml инженер для русскоязычных LLM

Команда развивает GigaChat и занимается online RL.

• Разрабатывать и улучшать методы online RL;
• Реализовывать и дорабатывать подходы post-training и online RL;
• Проектировать и проводить эксперименты: формулировать гипотезы, подбирать конфигурации, анализировать результаты и их причины;
• Разбираться, почему модель стала лучше или хуже, оценивать устойчивость результата и возможность масштабировать его на другие домены и типы задач;
• Следить за передовыми разработками, читать статьи, воспроизводить результаты и адаптировать лучшие подходы под задачи и инфраструктуру;
• Разрабатывать и поддерживать пайплайны online RL — от генерации rollout'ов и сбора reward-сигналов до обновления весов модели;
• Обеспечивать воспроизводимость экспериментов: версионировать данные, конфигурации и чекпоинты, контролировать деградации;
• Оптимизировать throughput и эффективность использования GPU: распределённое обучение, параллелизм, профилирование узких мест;
• Выстраивать связку между моделью, средами исполнения, верификаторами и reward-моделями, чтобы новые идеи можно было быстро проверять;
• Участвовать в проектировании и реализации reward-сигналов: rule-based верификаторов, reward-моделей, LLM-as-a-judge и execution-based проверок;
• Строить и улучшать пайплайны подготовки данных: фильтрацию, дедупликацию, балансировку и контроль утечек;
• Анализировать ошибки модели, выявлять систематические слабые места и формировать целевые обучающие выборки для их устранения;
• Взаимодействовать с исследователями, инженерами, командами данных и инфраструктуры;
• Брать на себя ответственность за целые части системы — от идеи до результата в проде;
• Делиться знаниями, участвовать в код-ревью и помогать повышать общую планку качества.

• Отлично владеть Python и PyTorch;
• Иметь практический опыт в post-training больших языковых моделей: RLHF, online RL, DPO или смежных направлениях;
• Иметь опыт проведения ML-экспериментов от постановки гипотезы до реализации, анализа и выводов;
• Понимать распределённое обучение: Data Parallel, FSDP, DeepSpeed или аналоги;
• Уметь писать чистый и надёжный код для промышленной эксплуатации;
• Уметь разбираться в сложных системах и самостоятельно находить и устранять узкие места;
• Будет плюсом опыт работы с reward-моделями, process reward models и LLM-as-a-judge; опыт построения сред исполнения, песочниц и верификаторов для задач по программированию или STEM; опыт работы с крупномасштабным выводом и оптимизацией генерации (vLLM, Sglang и т. д.); понимание современных открытых стеков для обучения больших языковых моделей (Verl, Megatron, TRL и др.); публикации, вклад в открытые проекты или сильный прикладной опыт.

• Конкурентная компенсация, премии и расширенный социальный пакет.