data engineer платформы больших данных

Команда X5 Tech развивает платформу больших данных и типовые потоковые интеграционные решения на базе Lakehouse.

• Собирать требования с бизнес-заказчиков и анализировать источники данных;
• Разрабатывать, реализовывать и поддерживать типовые потоковые интеграционные решения на стеке Trino, Iceberg, S3, Spark, Apache Airflow, Kafka, Cosmos и Flink;
• Оперативно реагировать на информацию о проблемах в зоне ответственности;
• Выполнять типовые задачи в установленный срок;
• Поддерживать в актуальном состоянии документацию типовых интеграционных решений платформы больших данных;
• Предоставлять руководителю отчётность о своей деятельности.

• Общее представление о стеке технологий Lakehouse;
• Понимание различий между работой с BigData/Lakehouse и данными обычного размера;
• Знание SQL, включая индексы, функции, оптимизацию и профилирование производительности;
• Опыт работы с реляционной базой данных;
• Умение работать с Git и командами git pull, git commit, git push;
• Опыт работы с DBT и Cosmos;
• Представление о работе с Trino;
• Понимание устройства Iceberg и форматов данных;
• Понимание работы с MinIO или другим хранилищем на основе S3;
• Опыт использования систем ведения проектов и документации;
• Знание основ программирования на Java и Python.

• Официальное оформление;
• Полугодовые премии по результатам работы;
• Возможность работать удалённо или в гибридном формате;
• Офисы рядом со станциями метро «Добрынинская» и «Волгоградский проспект», а также у МЦД «Калитники»;
• Гибкий график работы;
• Широкий пакет ДМС, включая выезд за рубеж и стоматологию;
• Страхование жизни и здоровья;
• Обучение и развитие за счёт компании;
• Участие в конференциях, тренингах, семинарах, мастер-классах и корпоративных образовательных программах;
• Программы мотивации для спикеров и авторов;
• Технические, спортивные и лайфстайл-сообщества;
• Корпоративные мероприятия и программы волонтёрства;
• Спортивные сообщества и ежегодная Неделя здоровья;
• Скидки в экосистеме бизнесов Х5;
• Программа привилегий Prime-zone;
• Материальная помощь сотрудникам в сложной жизненной ситуации;
• Онлайн-психотерапия.