Top Selection — группа компаний, занимающаяся трудоустройством IT-специалистов на проектную занятость в сфере телеком.
сегодня
data engineer в телеком
ниже рынка на 21,2%
вакансия
257 163 ₽
в среднем
326 174 ₽
мэтч
Загрузи резюме, чтобы видеть мэтчи с вакансиейЗагрузи резюме, чтобы видеть мэтч с вакой
подготовься к отклику
ai-инструментыЧтобы адаптировать резюме под вакансию или составить сопроводительное письмо, загрузи резюме
описание
задачи
- Мигрировать ETL-систему телеком-оператора с Oracle/Informatica на Apache-стек
- Переносить бизнес-логику из Informatica в высокопроизводительный SQL-код
- Писать и оптимизировать SQL для витрин данных и ETL-процессов
- Разрабатывать DAG в Airflow
- Настраивать пайплайны в NiFi для источников Oracle и PostgreSQL и приёмников S3 и файловых архивов
- Разрабатывать задания Spark на PySpark для больших объёмов данных
- Интегрировать Kafka для потоковой передачи данных
- Настраивать мониторинг в Grafana/Prometheus и отслеживать метрики
- Разбирать инциденты с качеством данных и ошибками загрузки
- Проводить проверку кода
требования
- Опыт миграции ETL-систем
- Глубокое знание SQL: оконные функции, сложные соединения, иерархические запросы
- Опыт оптимизации SQL для высоких нагрузок: партиционирование, индексы, планы выполнения
- Знание Oracle (PL/SQL) и PostgreSQL
- Знание Greenplum и/или ClickHouse
- Опыт проектирования архитектур на Apache Spark (PySpark), NiFi и Airflow
- Знание Hadoop (HDFS) и Hive
- Опыт мониторинга ETL в Grafana/Prometheus или VictoriaMetrics
- Опыт работы с биллинговыми системами
- Будет плюсом: опыт миграции с Oracle/Informatica на Apache-стек, опыт в телеком-домене, потоковая обработка в Kafka Streams/Spark Streaming, знание Informatica PowerCenter, бинарных форматов хранения в Hadoop, различий Hive и Impala, Greenplum и PostgreSQL, ClickHouse и PostgreSQL, Patroni, S3-хранилищ, КриптоПро или защищённых каналов передачи данных
условия
- Оформление только как ИП
- Локация: РФ, часовой пояс МСК ± 3ч
навыки
Группа компаний TopSelection специализируется на подборе и аутстаффинге IT-специалистов для проектов любой продолжительности обеспечивая полный цикл рекрутмента, техническую оценку, гарантию замены и поддержку развития кадров на российском и международном рынках
Подробнее о компании →Если просят выйти из iCloud, прислать код из SMS, запустить или установить что-то, перевести деньги — не соглашайся: это мошенничество.
