инженер данных Data Lakehouse-архитектуры

Команда перестраивает существующее DWH на современную Data Lakehouse-архитектуру. Новый контур во многом создаётся с нуля, а уже реализованную часть платформы масштабируют на остальные данные и используют для развития новых витрин.

• Развивать Data Lakehouse и единое DWH;
• Строить ETL/ELT-пайплайны от источника до готовой витрины;
• Разрабатывать интеграции с внутренними и внешними системами;
• Настраивать оркестрацию и регулярное обновление данных;
• Работать с качеством данных и управлением метаданными;
• Участвовать в выборе инструментов и архитектурных решений;
• Взаимодействовать с архитекторами, DevOps, ИБ и бизнесом.

• Уверенно владеть Python и SQL;
• Иметь опыт работы с Airflow или Dagster;
• Иметь опыт построения ETL/ELT-пайплайнов;
• Хорошо понимать DWH и современные подходы к работе с данными;
• Иметь опыт работы с Kafka и потоковой обработкой данных;
• Иметь опыт в небольших командах или проектах с широким кругом самостоятельных задач;
• Будет плюсом Trino, Apache Iceberg, DBT, ClickHouse.

• Оформление по ТК РФ;
• ДМС со стоматологией после испытательного срока;
• Компенсация питания — 10 000 ₽/мес;
• Полугодовые премии;
• Ежегодная индексация;
• Спортивные активности и корпоративные мероприятия;
• На испытательном сроке — офис 5/2, далее возможен гибрид по договорённости.