NDA

data engineer

грейд
lead
формат
удалённо
опубликована
30 сен

описание

Описания нет

задачи

  • Мигрировать ETL-процессы с Informatica PowerCenter на NiFi, Airflow и Greenplum
  • Разрабатывать ETL/ELT-процессы и хранимые процедуры
  • Писать и оптимизировать SQL-код для highload-среды
  • Разрабатывать и отлаживать DAG в Apache Airflow
  • Готовить документацию AS IS и TO BE
  • Отслеживать метрики и контролировать качество данных после миграции

требования

  • Опыт управления командой от 4 лет
  • Глубокое знание NiFi, Airflow, SQL/PLSQL и ETL/ELT
  • Опыт с Python, pandas, PySpark и интеграциями API
  • Опыт миграции с Informatica PowerCenter на Airflow и Greenplum
  • Знание Hadoop, Hive, Kafka, Oracle, PostgreSQL, Greenplum и ClickHouse
  • Опыт с качеством данных, потоковой обработкой и Grafana/Prometheus

условия

  • Доход 280 000–300 000 ₽
  • **Senior-позиция**
  • Работа с миграцией и развитием ETL-инфраструктуры

навыки

похожие вакансии

статьи для разработчиков