ML engineer in LLM

Готовим данные для GigaChat и GigaChat Vision — от pretrain с нуля до alignment. Собрали корпус на 15 триллионов токенов. Открыли GigaChat 3.1 (702B) и GigaChat 3.5 (432B). Опубликовали статью на ACL; ещё две статьи проходят ревью на A*-конференциях. У нас — сильная исследовательская команда, сложные задачи в LLM и мультимодальности и ресурсы для проверки новых идей.

• Улучшать pretrain-данные: обучать модели оценки качества, кластеризовать корпуса, подбирать смеси и измерять их влияние на качество модели.
• Создавать alignment-данные для SFT и RL в разных доменах: инструкции, предпочтения и агентные траектории; разрабатывать среды, задачи и проверки для обучения работе с инструментами.
• Генерировать синтетику для математики, кода и reasoning; проверять решения исполнением кода и моделями-судьями.
• Исследовать density sampling, способы токенизации с упаковкой последовательностей, включая best-fit packing; проверять гипотезы в ablation-экспериментах.
• Готовить датасеты для мультимодального обучения, включая interleaved-данные с чередованием текста и изображений.
• Масштабировать обработку сотен миллиардов веб-документов и OCR миллиардов PDF; ускорять распределённые пайплайны и генерацию на GPU.

• Уверенный Python, алгоритмы и структуры данных; основы ML, линейной алгебры и вероятности.
• Практику с PyTorch, NLP/CV или данными — учебные и личные проекты подходят.
• Linux и Git, чтение статей на английском, умение проверять гипотезы и доводить задачи до результата.
• Активное использование AI-агентов в работе.
• Будет плюсом: LLM/VLM, vLLM/SGLang, Spark/YTsaurus, C++/Rust; исследовательские проекты,; ML-соревнования или олимпиадное программирование

• MacBook M4 (с VPN), корпоративные подписки на AI-агентов.
• 50 тысяч CPU и большое количество GPU для обработки данных, обучения и синтетики.
• После успешной стажировки — переход в штат команды.