data engineer

Описания нет

• Реализовывать и сопровождать пайплайны для критичных бизнес-процессов;
• Обеспечивать полный цикл поставки данных: от источника до эксплуатации и исправления дефектов;
• Проектировать слои корпоративного хранилища данных, витрины и интеграции;
• Реализовывать пайплайны с учетом идемпотентности, повторного запуска, полноты и надежности загрузки;
• Проводить сверки между источниками, слоями хранилища и витринами;
• Выполнять SQL-проверки полноты, согласованности и корректности данных;
• Настраивать мониторинг загрузок, алертинг по сбоям, анализировать логи, расследовать инциденты и устранять причины дефектов;
• Управлять схемами, миграциями и версионированием данных.

• Опыт в инженерии данных и ETL-разработке от 5 лет;
• Опыт работы с Greenplum или другой MPP-СУБД, включая сложный SQL, оптимизацию запросов, индексы, партиционирование и планы выполнения;
• Опыт работы с Apache Spark, включая Spark SQL, DataFrame API и оптимизацию производительности;
• Владение Airflow или аналогами, Git, CI/CD;
• Знание Python и/или Java для разработки пайплайнов, утилит, автоматизации и проверок качества;
• Понимание принципов проектирования хранилищ данных, нормализации, денормализации, схем «звезда»/«снежинка» и Data Vault 2.0;
• Опыт миграции данных между платформами хранилищ данных;
• Умение работать с инструментами управления схемами и миграциями;
• Будет плюсом опыт редизайна хранилищ данных, разработки ETL-фреймворков и библиотек, настройки автоматического восстановления процессов, менторства инженеров и формирования стандартов разработки.

• Условий в вакансии нет