data engineer робототехники

Центр робототехники Сбера создаёт роботов и системы ИИ, которым нужны большие и аккуратно подготовленные наборы данных. Команда Data Conveyor отвечает за путь данных от сырых записей до формата, пригодного для работы ML-команд.

• Проектировать и реализовывать пайплайны для преобразования данных из разных источников в формат, пригодный для обучения моделей;
• Стабилизировать основной процесс конвертации данных с роботов;
• Поддерживать схемы датасетов, версионирование, проверки совместимости, валидаторы и манифесты;
• Подключать новые источники данных: записи с роботов, внешние датасеты, симуляции, egocentric data, данные тестовых запусков и корректирующих демонстраций;
• Обеспечивать воспроизводимые сборки датасетов и связь между исходными данными, преобразованными эпизодами, отфильтрованным датасетом, релизом датасета, запуском обучения и результатом бенчмарка;
• Создавать наборы проверок файлов, структуры video/parquet, временных меток, обязательных полей, метаданных, статуса разметки и исторических вариантов;
• Готовить данные к передаче в обучение;
• Создавать надёжные CLI-инструменты, тесты, инструкции по эксплуатации и отчёты об отладке для исследователей и инженеров.

• Сильный Python и опыт разработки пакетных пайплайнов обработки данных;
• Опыт в backend-разработке, data engineering или software engineering для внутренних платформ и ML/data-процессов;
• Опыт работы с большими файлами, манифестами метаданных, воспроизводимыми сборками и логикой валидации;
• Практический опыт работы с Linux, Docker, Git, CI/CD и командной строкой;
• Понимание хранилищ и форматов данных: S3/object storage, сетевые хранилища, parquet, zarr, hdf5, webdataset, видеофайлы или аналогичные форматы;
• Умение разбираться в нестандартных форматах данных и приводить их к строгому контракту;
• Готовность писать поддерживаемый код production-уровня, а не одноразовые скрипты конвертации;
• Будет плюсом опыт с LeRobot, RLDS, DROID / Bridge / RT-X-подобными датасетами, ROS bags или траекториями роботов, Ray, Airflow, Prefect, Kubernetes, SLURM, LSF и другими системами оркестрации и запуска задач, W&B, MLflow, Hydra configs, системами отслеживания экспериментов или управления датасетами, понимание computer vision, мультимодальных данных, VLA, imitation learning или robot learning, навыки работы с генеративными AI-моделями, опыт создания AI-агентов и использования их в работе, опыт использования GigaChat, Kandinsky и аналогов в продуктах, навыки создания и использования AI-агентов, инструментальное владение AI для анализа, генерации и автоматизации.

• Офис по адресу: Автозаводская, 23а, корпус 2;
• Ежегодный пересмотр зарплаты;
• Квартальная и годовая премия;
• Корпоративный спортзал и зоны отдыха;
• Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития;
• Программа адаптации и помощь руководителя на старте;
• Расширенный ДМС;
• Льготное страхование для семьи;
• Корпоративная пенсионная программа;
• Скидка по ипотечному кредиту в размере 1/3 ключевой ставки ЦБ;
• Подписка Прайм с возможностью совместного использования с тремя близкими;
• Вознаграждение за рекомендацию друзей в команду Сбера.