ml инженер для обучения VLM

Команда GigaChat Pretrain Data готовит данные для предварительного обучения моделей GigaChat и GigaChat Vision. Эти данные являются основой для обучения LLM-моделей; команда обрабатывает более 40 ПБ сырых данных, превращая их в датасет для обучения LLM в России.

• Поддерживать данные для обучения VLM на кластере YTSaurus;
• Строить платформу для анализа и обработки данных, включая фильтрацию и дедупликацию;
• Автоматизировать процессы через Airflow;
• Искать и синтезировать данные для обучения VLM в областях OCR, Charts&Tables, Grounding&Counting и General;
• Исследовать пайплайны создания чистых и разнообразных датасетов на примере FineVision;
• Обучать VLM на подготовленных данных;
• Проводить исследования метрик intrain и бенчмарков для оценки качества.

• Опыт построения дата-пайплайнов и процессов контроля качества данных;
• Опыт работы в промышленной ML-команде;
• Понимание задач компьютерного зрения и современных подходов в больших языковых моделях;
• Опыт решения задач, связанных с влиянием данных на качество VLM;
• Практический опыт работы с VLM;
• Будет плюсом опыт работы с большими нагрузками.

• Возможность выбрать офисный, гибридный или удалённый график работы в РФ;
• Годовая премия;
• Корпоративный спортзал и зоны отдыха;
• Более 400 образовательных программ СберУниверситета;
• Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа;
• Ипотека для сотрудников по дисконтной программе;
• Бесплатная подписка СберПрайм+ и скидки на продукты компаний-партнёров;
• Вознаграждение за рекомендацию друзей в команду Сбера.