Развитие корпоративного хранилища данных крупной компании: собираем данные из десятков источников, строим витрины и обеспечиваем единую отчётность для бизнеса. Senior-инженеру предстоит отвечать за ETL-пайплайны, моделирование и качество данных - от источника до готового отчёта.
Data engineer
подготовься к отклику
ai-инструментыЧтобы адаптировать резюме под вакансию или составить сопроводительное письмо, загрузи резюме
описание
задачи
- Проектировать и развивать DWH: слои, витрины и модели данных (звезда, medallion, SCD2)
- Строить и поддерживать ETL/ELT-пайплайны на Airflow, Spark и Python
- Работать с PostgreSQL, Greenplum и ClickHouse, оптимизировать загрузки и запросы
- Организовывать потоковую загрузку из Kafka/RabbitMQ, следить за идемпотентностью и backfill
- Обеспечивать качество данных: тесты, сверки с источниками, мониторинг свежести и объёмов
- Участвовать в архитектурных решениях, проводить код-ревью и наставлять коллег
- Вести документацию и каталог данных
требования
- Опыт в Data Engineering / DWH от 5 лет
- Продвинутый SQL: оконные функции, CTE, чтение планов, оптимизация
- Python на уровне production-кода
- Опыт ETL/ELT: Airflow и Spark
- Понимание моделирования хранилищ и инкрементальной загрузки
- Опыт работы с ClickHouse или Greenplum/PostgreSQL на больших объёмах
- Kafka или RabbitMQ, Docker, Git, CI/CD
- Опыт код-ревью и наставничество
- Будет плюсом: dbt в продакшене; Apache Iceberg (или Delta/Hudi), Trino; Debezium и CDC; Инструменты data quality и каталоги данных; Kubernetes, on-prem-инфраструктура
условия
- Полная занятость с графиком 5/2
- Удалённый формат работы
- Работа в аккредитованной ИТ-компании
- Работа с современным стеком технологий и крупными игроками рынка
- Официальное трудоустройство по ТК РФ или ИП РФ
навыки
Если просят выйти из iCloud, прислать код из SMS, запустить или установить что-то, перевести деньги — не соглашайся: это мошенничество.