инженер данных для телекоммуникационного проекта

Проект связан с телекоммуникационной сферой и миграцией ETL-процессов на Apache/open-source стек.

• Мигрировать ETL-процессы с Informatica PowerCenter на целевой стек NiFi, Airflow, Greenplum, SQL и хранимые процедуры;
• Разрабатывать и оптимизировать ETL/ELT-процессы;
• Писать сложный SQL-код и хранимые процедуры;
• Разрабатывать и отлаживать DAG’и в Apache Airflow;
• Работать с потоковой и пакетной обработкой данных;
• Подготавливать документацию AS IS / TO BE;
• Настраивать мониторинг и отслеживать метрики ETL-процессов;
• Автоматизировать проверку и контроль качества данных после миграции.

• Сильный практический опыт разработки ETL/ELT, включая реализацию значительной части логики на стороне СУБД;
• Опыт разработки хранимых процедур и функций на SQL, PL/SQL или аналогичных расширениях;
• Опыт миграции ETL-систем на Apache/open-source стек;
• Опыт миграции с Informatica PowerCenter на Airflow и Greenplum;
• Опыт разработки на Python: ETL-скрипты, pandas, интеграции с API;
• Опыт разработки и отладки DAG’ов Airflow;
• Опыт работы с Apache NiFi: проектирование потоков, подключение источников, обработка ошибок, мониторинг и отладка;
• Опыт работы с PySpark: трансформации, оптимизация, партиционирование;
• Опыт работы с Hadoop, Hive, Hive Metastore, Parquet и ORC;
• Опыт работы с Oracle, PostgreSQL, Greenplum и ClickHouse;
• Знание сложного SQL: оконные функции, объединения, оптимизация запросов в среде с высокой нагрузкой;
• Опыт интеграции Apache-стека с Kafka и BI-системами;
• Опыт потоковой обработки данных;
• Опыт мониторинга через Grafana и Prometheus;
• Опыт построения процессов контроля качества данных: правила валидации, сравнение результатов миграции, контроль метрик;
• Опыт работы с биллинговыми системами;
• Нужен именно практический технический опыт: позиция предполагает непосредственную работу с SQL, Airflow, NiFi, Python и целевым стеком обработки данных;
• Будет плюсом опыт системного анализа ETL-процессов, опыт управления командой в роли Team Lead от 4 лет, умение переводить бизнес-требования в технические спецификации, опыт подготовки технической и пользовательской документации, создание ER-диаграмм, инструкций и тест-кейсов.

• Оформление только через ИП;
• График по московскому времени ±2 часа.