Проект крупной розничной сети включает построение, развитие и поддержку современных ETL-пайплайнов и корпоративного хранилища данных.
сегодня
data engineer в розничной торговле
ориентир по рынку
вакансия
зп не указана
в среднем
222 397 ₽
мэтч
Загрузи резюме, чтобы видеть мэтчи с вакансиейЗагрузи резюме, чтобы видеть мэтч с вакой
подготовься к отклику
ai-инструментыЧтобы адаптировать резюме под вакансию или составить сопроводительное письмо, загрузи резюме
описание
ID вакансии: 92467_SS • Важно: рассматриваются кандидаты с релевантностью опыта от 85% (аутстаффинговая позиция). • ДЕДЛАЙН: 27.10 до 17:00! При отклике, пожалуйста, сразу присылайте актуальное резюме с акцентом на опыт работы с PySpark, Airflow, dbt и понимание Data Vault. Пишите ID вакансии: 92467_SS
задачи
- Создавать и развивать ETL-пайплайны с Python и PySpark
- Поддерживать и дорабатывать DAG в Apache Airflow: анализировать логи, устранять типовые сбои, выполнять backfill
- Разрабатывать модели dbt, тесты и документацию
- Обслуживать сущности Data Vault 2.0 в части Satellite
- Взаимодействовать с хранилищем S3 через boto3 и реляционными и колоночными СУБД
- Проверять качество данных: контролировать NULL-значения, уникальность ключей и корректность типов
- Фиксировать технические метаданные в DataHub и отслеживать статус пайплайнов в системах мониторинга
требования
- Не менее 2 лет опыта в роли Data Engineer
- Уверенное владение Python: синтаксис, основы ООП, написание ETL-скриптов с готовыми библиотеками и отладка
- Знание PySpark: работа с DataFrames API, понимание различий между Action и Transformation, базовое понимание архитектуры Spark
- Навыки работы с SQL: JOIN, агрегации, оконные функции и базовое понимание индексов
- Опыт работы с PostgreSQL, ClickHouse, Greenplum, Oracle или MySQL; понимание реляционной модели и принципов ACID, базовые знания NoSQL
- Понимание различий между OLTP и OLAP, особенностей строковых и колоночных хранилищ, принципов Data Vault 2.0
- Опыт работы с Airflow: настройка DAG, расписаний, операторов, сенсоров, Connections, Variables, повторных запусков и оповещений
- Владение dbt: создание моделей и источников, использование refs и Jinja, настройка материализаций, seeds и тестов
- Работа с Git и GitLab CI: управление ветками, создание MR, участие в код-ревью, чтение конфигураций .gitlab-ci.yml
- Базовые навыки Docker: составление Dockerfile, локальная сборка и запуск контейнеров
- Умение работать с инструментами мониторинга: чтение дашбордов в Grafana, Sentry и Kibana
- Будет плюсом: практический опыт работы с Data Vault 2.0, особенно Hub, Link и Satellite, понимание специфики розничной торговли и больших объёмов транзакционных данных
условия
- Срок привлечения — 24 месяца с возможностью пролонгации
- Вакансия актуальна до 27.10 включительно до 17:00
навыки
Если просят выйти из iCloud, прислать код из SMS, запустить или установить что-то, перевести деньги — не соглашайся: это мошенничество.
