Проект посвящён построению, развитию и оптимизации ETL/ELT-пайплайнов, внедрению Data Vault 2.0 и современных практик инженерии данных для крупной розничной сети.
сегодня
data engineer Data Vault в розничной сети
ориентир по рынку
вакансия
зп не указана
в среднем
222 397 ₽
мэтч
Загрузи резюме, чтобы видеть мэтчи с вакансиейЗагрузи резюме, чтобы видеть мэтч с вакой
подготовься к отклику
ai-инструментыЧтобы адаптировать резюме под вакансию или составить сопроводительное письмо, загрузи резюме
описание
ID вакансии: 92465_SS • ДЕДЛАЙН: 27.10 до 17:00! При отклике, пожалуйста, сразу присылайте актуальное резюме с акцентом на опыт оптимизации Spark, продвинутое владение dbt/Airflow и понимание Data Vault. Пишите ID вакансии: 92465_SS
задачи
- Создавать и развивать Spark-пайплайны, включая Structured Streaming
- Проектировать модульные и динамические DAG в Airflow, разрабатывать кастомные операторы, сенсоры и хуки
- Строить слоистую модель в dbt, реализовывать incremental-модели, snapshots и макросы, настраивать Slim CI
- Проектировать структуры Data Vault 2.0 для новых источников данных
- Выбирать архитектуру и форматы хранения данных, проектировать схемы с учётом ожидаемой нагрузки
- Настраивать CI/CD-процессы в GitLab, окружения dev, stage и prod, runners и approvals
- Внедрять фреймворки контроля качества данных, настраивать метрики и оповещения
- Развивать Semantic Layer и выстраивать lineage в DataHub
- Составлять и контролировать дата-контракты
требования
- Опыт в инженерии данных от 4 лет
- Уверенное владение Python: ООП, асинхронность, многопоточность, типизация, тестирование и профилирование кода
- Продвинутые навыки работы со Spark: оптимизация и настройка задач, анализ планов выполнения и логов
- Глубокое понимание SQL, EXPLAIN, планов выполнения запросов, настройки индексов и особенностей разных движков СУБД
- Навыки администрирования СУБД: партиционирование, шардирование, репликация, настройка резервного копирования и миграций, понимание блокировок и уровней изоляции транзакций
- Опыт работы с Airflow: XCom, настройка пулов и SLA, KubernetesPodOperator
- Высокий уровень владения dbt
- Практический опыт работы с Kubernetes и Docker, умение оптимизировать образы контейнеров
- Опыт работы с S3, настройки lifecycle-правил и управления версиями объектов
- Навыки работы с Git, включая rebase и cherry-pick, организация версионирования релизов
- Умение создавать дашборды и настраивать оповещения в Grafana или аналогичных инструментах
- Будет плюсом: опыт внедрения и поддержки Data Vault 2.0, работа с Iceberg и Delta Lake, понимание специфики розничной торговли и больших объёмов транзакционных данных
условия
- Срок привлечения — 24 месяца с возможностью продления
- Вакансия актуальна до 27.10 включительно до 17:00
навыки
Если просят выйти из iCloud, прислать код из SMS, запустить или установить что-то, перевести деньги — не соглашайся: это мошенничество.
