.svg)
Про зарплаты
Анонимные данные по зарплатам и грейдам.
Можно сверить вилку с рынком.
Группа компаний Top Selection занимается трудоустройством IT-специалистов на проектную занятость.
вчера
data engineer etl-миграция
ниже рынка на 11,9%
вакансия
270 000 ₽
в среднем
306 528 ₽
мэтч
Загрузи резюме, чтобы видеть мэтчи с вакансией
подготовься к отклику
ai-инструментыЧтобы адаптировать резюме под вакансию или составить сопроводительное письмо, загрузи резюме
описание
ПРАВИЛА БЕЗОПАСНОСТИ
задачи
- Мигрировать ETL-систему телеком-оператора с Oracle/Informatica на Apache-стек (S3, Airflow, NiFi, Kafka, Greenplum)
- Переносить бизнес-логику из Informatica в высокопроизводительный SQL-код
- Писать и оптимизировать SQL для витрин данных и ETL-процессов
- Разрабатывать DAG в Airflow
- Настраивать пайплайны в NiFi с источниками Oracle и PostgreSQL и приёмниками S3 и файловыми архивами
- Разрабатывать Spark-задачи на PySpark для больших объёмов данных
- Интегрировать Kafka для потоковой передачи данных
- Настраивать мониторинг в Grafana/Prometheus и отслеживать метрики
- Разбирать инциденты, связанные с качеством данных и ошибками загрузки
- Проводить проверку кода
требования
- Опыт миграции ETL-систем, желательно с Oracle/Informatica на Apache-стек
- Глубокое знание SQL: оконные функции, сложные соединения, иерархические запросы
- Опыт оптимизации SQL для высоких нагрузок: партиционирование, индексы, планы выполнения
- Знание Oracle (PL/SQL) и PostgreSQL
- Знание Greenplum и/или ClickHouse
- Опыт проектирования архитектур на Apache Spark (PySpark), NiFi и Airflow
- Знание Hadoop (HDFS) и Hive
- Опыт мониторинга ETL с Grafana/Prometheus или Victoria Metrics
- Опыт работы с биллинговыми системами
- Будет плюсом: опыт потоковой обработки с Kafka Streams/Spark Streaming, знание Informatica PowerCenter, бинарных форматов хранения в Hadoop, различий Hive и Impala, Greenplum и PostgreSQL, ClickHouse и PostgreSQL, Patroni для кластеризации PostgreSQL/Greenplum, S3-хранилищ, КриптоПро или защищённых каналов передачи данных
условия
- Условий в вакансии нет
навыки
Группа компаний TopSelection специализируется на подборе и аутстаффинге IT-специалистов для проектов любой продолжительности обеспечивая полный цикл рекрутмента, техническую оценку, гарантию замены и поддержку развития кадров на российском и международном рынках
Подробнее о компании →Если просят выйти из iCloud, прислать код из SMS, запустить или установить что-то, перевести деньги — не соглашайся: это мошенничество.
