ml инженер для предварительного обучения моделей

Команда GigaChat Pretrain Data готовит данные для предварительного обучения моделей GigaChat и GigaChat Vision. Объём сырых данных превышает 40 ПБ, а задача команды — преобразовать их в датасет для обучения LLM-модели.

• Генерировать синтетические данные для математики, кода и произвольной синтетики с сидами из документов Web;
• Исследовать токенизацию и её влияние на качество модели, включая возможное написание статей;
• Решать задачи кластеризации миллиардов документов;
• Исследовать факторы, которыми обладают текстовые данные;
• Генерировать Vision-данные для улучшения VLM;
• Разрабатывать алгоритмы парсинга HTML и исследовать их влияние на качество модели;
• Исследовать зависимости между данными предварительного обучения и возможностями итоговой модели в работе с агентами;
• Разрабатывать стабильную инфраструктуру для проведения сотен и тысяч экспериментов над данными.

• Иметь от двух лет коммерческого релевантного опыта в NLP или построении инфраструктуры для данных;
• Будет плюсом навыки работы с генеративными AI-моделями, опыт создания и использования AI-агентов, опыт использования GigaChat, Kandinsky и аналогов в продуктах, инструментальное владение AI для анализа, генерации и автоматизации, опыт работы с системами MapReduce.

• Комфортный современный офис рядом с м. Кутузовская;
• Гибридный график: 2 дня в офисе и 3 дня на удалёнке;
• Ежегодный пересмотр зарплаты;
• Годовая премия;
• Корпоративный спортзал и зоны отдыха;
• Система обучения для профессионального и карьерного развития;
• Расширенный полис ДМС с первого дня работы и страхование для семьи;
• Льготная программа ипотеки для сотрудников;
• Бесплатная подписка СберПрайм+ и скидки на продукты компаний-партнёров;
• Вознаграждение за рекомендацию друзей в команду Сбера.