описание
Ищем Data Engineer для разработки и развития инфраструктуры обработки данных и корпоративного хранилища (DWH). Специалист будет отвечать за построение ETL/ELT-процессов, интеграцию данных из банковских систем, автоматизацию загрузок, обеспечение качества и доступности данных.
задачи
- Разработка процессов получения данных из Oracle через CDC (Debezium, Kafka, Kafka Connect).
- Разработка и поддержка DAG в Apache Airflow для автоматизации загрузки и обработки данных.
- Проектирование слоёв данных: Staging, исторические данные (SCD2), Data Marts.
- Разработка и оптимизация ETL/ELT-процессов с использованием SQL и PL/SQL.
- Интеграция данных из различных источников в корпоративное хранилище (DWH).
- Организация выгрузки данных в объектные хранилища (S3, MinIO).
- Контроль качества данных, мониторинг загрузок и обработка ошибок.
- Настройка мониторинга и алертинга для контроля актуальности данных и работы пайплайнов.
- Подготовка технической документации, описание структур данных и Data Lineage.
требования
- Опыт работы Data Engineer от 3 лет.
- Уверенное владение SQL: сложные запросы, оконные функции, оптимизация.
- Глубокие знания Oracle и PL/SQL: пакеты, индексы, планы выполнения, работа с большими объёмами данных.
- Опыт разработки на Python и автоматизации обработки данных.
- Практический опыт работы с Apache Airflow или аналогичными оркестраторами.
- Знание Apache Kafka, Kafka Connect и принципов CDC.
- Опыт работы с Debezium или аналогичными инструментами.
- Понимание моделирования данных: Fact/Dimension, SCD2, инкрементальная загрузка и идемпотентность.
- Опыт работы с Git, Code Review и Docker.
- Аналитическое мышление и умение находить первопричины технических проблем.
- Способность самостоятельно разбираться в сложных задачах.
- Готовность уточнять требования и задавать вопросы при необходимости.
- Ответственность, самостоятельность и открытая коммуникация с командой.
- Будет плюсом: Опыт CDC-интеграции с Oracle: LogMiner, Redo/Archive Logs, SCN, Oracle GoldenGate; Знание PostgreSQL / Postgres Pro и PL/pgSQL; Опыт работы в банковской или финансовой сфере, понимание АБС и банковской отчётности; Опыт оптимизации загрузки и обработки больших объёмов данных; Практический опыт работы с GitLab CI/CD; Знание инструментов мониторинга Prometheus, Grafana, Zabbix
условия
- Конкурентоспособная заработная плата
- Корпоративное обучение и развитие;
- Удобное месторасположение офиса;
- Тренажерный зал, шахматы, мафия
- Врач в штате (мед.осмотр каждый день)
- График работы 5/2, с 9.00 до 18.00;
- Трудоустройство согласно ТК РУЗ.
- Тимбилдинги и праздники.
- Участие в конференциях и форумах.
- Современное здание и офис в стиле High-tech
