Команда перестраивает существующее DWH на современную Data Lakehouse-архитектуру. Новый контур во многом создаётся с нуля: часть платформы уже реализована, сейчас её масштабируют на остальные данные и развивают новые витрины.
3 сен
инженер данных для Data Lakehouse
ориентир по рынку
вакансия
зп не указана
в среднем
291 559 ₽
мэтч
Загрузи резюме, чтобы видеть мэтчи с вакансиейЗагрузи резюме, чтобы видеть мэтч с вакой
подготовься к отклику
ai-инструментыЧтобы адаптировать резюме под вакансию или составить сопроводительное письмо, загрузи резюме
описание
задачи
- Развивать Data Lakehouse и единое DWH;
- Строить ETL/ELT-пайплайны от источника до готовой витрины;
- Разрабатывать интеграции с внутренними и внешними системами;
- Настраивать оркестрацию и регулярное обновление данных;
- Работать с качеством данных и управлением метаданными;
- Участвовать в выборе инструментов и архитектурных решений;
- Взаимодействовать с архитекторами, DevOps, информационной безопасностью и бизнесом.
требования
- Уверенно владеть Python и SQL;
- Иметь опыт работы с Airflow или Dagster;
- Иметь опыт построения ETL/ELT-пайплайнов;
- Хорошо понимать DWH и современные подходы к работе с данными;
- Иметь опыт работы с Kafka и потоковой обработкой данных;
- Иметь опыт работы в небольших командах или проектах, где приходилось самостоятельно закрывать широкий круг задач;
- Будет плюсом Trino, Apache Iceberg, DBT, ClickHouse.
условия
- Оформление по ТК РФ;
- ДМС со стоматологией после испытательного срока;
- Компенсация питания — 10 000 ₽/мес;
- Полугодовые премии;
- Ежегодная индексация;
- Спортивные активности и корпоративные мероприятия;
- На испытательном сроке — офис 5/2, далее возможен гибрид по договорённости.
навыки
Если просят выйти из iCloud, прислать код из SMS, запустить или установить что-то, перевести деньги — не соглашайся: это мошенничество.
