data engineer

Команда занимается разработкой data lakehouse-решения для крупного заказчика, работая с большими объёмами данных в рамках многоуровневой архитектуры.

• Разрабатывать и оптимизировать ETL/ELT-пайплайны под большие объёмы данных;
• Парсить, валидировать и трансформировать XML-данные;
• Строить слои raw, processed и curated с использованием Parquet и S3;
• Реализовывать нормализацию, дедупликацию и формирование «золотых» записей;
• Тюнить производительность и обеспечивать стабильность в продакшене;
• Подготавливать решения к переносу в закрытый контур заказчика;
• Взаимодействовать с аналитиками, архитектором, DevOps и командой.

• Уверенное владение Python, понимание ООП, типизации и работы с памятью;
• Коммерческий опыт работы от 3 лет, включая 1–2 года поддержки ETL/ELT-пайплайнов в продакшене;
• Опыт работы с PySpark, pandas или аналогами, а также с большими объёмами данных;
• Понимание форматов Parquet, columnar storage, partitioning, compression и schema evolution;
• Опыт работы с S3 или аналогами;
• Понимание архитектур Data Lake и Lakehouse, включая многоуровневые слои данных;
• Навыки обеспечения качества данных: нормализация, дедупликация, формирование golden record;
• Продвинутые знания SQL и баз данных: PostgreSQL, Greenplum, ClickHouse, оконные функции, CTE, оптимизация запросов;
• Опыт работы с оркестраторами: Apache Airflow или аналоги;
• Знание DevOps-инструментов: Docker, CI/CD, Git;
• Понимание работы облачных сервисов: IAM, сети, compute, storage;
• Опыт парсинга и валидации XML;
• Будет плюсом глубокая оптимизация Apache Spark, знание Trino, Presto, табличных форматов Apache Iceberg, Delta Lake, Hudi, опыт работы в закрытых контурах, знание концепций Data Mesh, Data Fabric, опыт написания unit и integration тестов.

• Условий в вакансии нет