Инженер данных

Команда занимается разработкой инфраструктуры, пайплайнов и обеспечением качества данных для обучения современных мультимодальных моделей (Vision-Language Models).

• Собирать и структурировать потребности ML-команды в данных для обучения, дообучения и оценки моделей;
• Предлагать и реализовывать идеи пайплайнов очистки, фильтрации, дедупликации, категоризации и генерации данных;
• Отвечать за инфраструктуру хранения и подготовки данных, включая импорт из различных источников, валидацию, версионирование и экспорт в форматы для обучения;
• Проектировать и реализовывать пайплайны обработки данных на масштабе десятков миллиардов изображений;
• Разрабатывать пайплайны генерации синтетических данных;
• Собирать статистику, строить отчёты и визуализации для анализа состава и качества датасетов;
• Обеспечивать воспроизводимость, наблюдаемость и надёжность процессов обработки данных;
• Взаимодействовать с ML-инженерами, исследователями и инфраструктурной командой.

• Сильный опыт в data engineering и построении production-grade пайплайнов данных;
• Уверенное владение Python, включая многопроцессорность, многопоточность и асинхронные подходы;
• Опыт работы с большими объёмами данных и распределённой обработкой;
• Практический опыт работы с объектными хранилищами (S3 или аналоги);
• Опыт работы с YTsaurus или похожими системами распределённого хранения и обработки;
• Понимание принципов валидации, очистки, дедупликации и версионирования датасетов;
• Опыт работы с DVC, Git, Docker;
• Опыт работы с PostgreSQL или другими реляционными базами данных;
• Умение проектировать устойчивые пайплайны от импорта до финального экспорта;
• Способность самостоятельно разбираться в нечётко сформулированных задачах;
• Готовность работать на стыке инженерии и ML-исследований;
• Будет плюсом опыт работы с мультимодальными данными (изображения, текст, пары image-text, OCR, метаданные), понимание устройства датасетов для VLM/LMM, опыт построения пайплайнов для синтетических данных, опыт реализации quality scoring, фильтрации, семантической дедупликации, кластеризации, опыт визуализации статистики, опыт работы с Common Crawl, LAION-подобными датасетами и базовое понимание ML training pipeline.

• Ежегодный пересмотр зарплаты и годовая премия;
• Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа;
• Ипотека со ставкой до 7%;
• Доступ к более чем 400 образовательным программам СберУниверситета;
• Корпоративный спортзал и зоны отдыха;
• Бесплатная подписка СберПрайм+ и скидки на продукты компаний-партнеров;
• Участие в крупнейшем DS&AI community банка, доступ к дайджестам разработок и возможность быть соавтором НИРов и статей для международных конференций;
• Вознаграждение за рекомендацию друзей в команду.