data engineer

Проект относится к сфере телекоммуникаций и связан с миграцией информационных систем на Apache стек.

• Участвовать в миграции информационных систем на Apache стек;
• Подготовить документацию AS IS и TO BE;
• Писать SQL-код;
• Отслеживать метрики.

• Опыт участия в проектах миграции ETL-систем на Apache стек;
• Опыт разработки на Python, включая написание ETL-скриптов, работу с pandas и интеграцию с API;
• Опыт написания и отладки DAG в Apache Airflow;
• Опыт работы с PySpark, включая трансформации, оптимизацию и партиционирование;
• Опыт миграции ETL-процессов с Informatica PowerCenter на открытый стек Airflow + Greenplum;
• Глубокое практическое знание NiFi и Airflow: проектирование потоков, подключение источников, обработка ошибок, мониторинг и отладка;
• Опыт работы с качеством данных: разработка правил валидации и анализ влияния на бизнес-процессы;
• Понимание архитектурных подходов к проектированию хранилищ и различий между ETL и ELT;
• Опыт работы с Hive metastore и форматами файлов Parquet и ORC;
• Опыт работы с Oracle;
• Опыт применения сложных SQL-запросов, включая оконные функции и соединения;
• Умение оптимизировать запросы для высоконагруженной среды;
• Опыт проектирования интеграций Apache-стека с Kafka и BI-системами;
• Опыт настройки потоковой обработки данных;
• Опыт работы с Hadoop и Hive;
• Опыт работы с PostgreSQL, Greenplum и ClickHouse;
• Опыт работы с Grafana и Prometheus для отслеживания ETL-процессов;
• Опыт работы с биллингом;
• Опыт автоматической валидации и контроля качества данных после миграции;
• Будет плюсом опыт системного анализа ETL, опыт управления командой от 4 лет, умение переводить бизнес-требования в технические спецификации, опыт подготовки документации для пользователей и разработчиков, опыт создания ER-диаграмм, инструкций и тест-кейсов.

• Проект рассчитан минимум на 6 месяцев с возможным продлением;
• Работа доступна гражданам РФ;
• Условий в вакансии нет.