.svg)
Проект предусматривает миграцию с Informatica на Airflow и Greenplum до конца 2027 года.
5 авг
data engineer
ниже рынка на 29,1%
вакансия
270 000 ₽
в среднем
380 777 ₽
мэтч
Загрузи резюме, чтобы видеть мэтчи с вакансией
подготовьтесь к отклику
ai-инструментыЧтобы адаптировать резюме под вакансию или составить сопроводительное письмо, загрузите резюме
описание
задачи
- Документировать состояние AS IS и целевое состояние TO BE;
- Разрабатывать сложные SQL-запросы с оконными функциями и соединениями;
- Оптимизировать решения под высокую нагрузку;
- Валидировать данные после миграции;
- Настраивать метрики качества данных после миграции;
- Работать с биллингом.
требования
- Владеть Python для ETL-скриптов, pandas и API;
- Уметь писать и отлаживать DAG в Airflow;
- Владеть PySpark, включая трансформации, оптимизацию и партиционирование;
- Уметь проектировать потоки в NiFi, работать с ошибками и мониторингом;
- Знать Greenplum, PostgreSQL или ClickHouse;
- Знать Oracle и Hive, включая форматы Parquet и ORC и метастор;
- Владеть Grafana и Prometheus для работы с метриками ETL;
- Знать Kafka и интеграцию с BI;
- Будет плюсом опыт управления командой от 4 лет, умение переводить бизнес-задачи в технические задания.
условия
- Оформление в формате ИП.
навыки
Если просят войти через iCloud, отправить коды из SMS, запустить код, что-то установить, перевести деньги или сделать что угодно, связанное с деньгами, не соглашайтесь: это признаки мошенничества.
