Проект направлен на развитие Единого интеграционного слоя и витрины DMDC.
сегодня
data engineer интеграционного слоя банка
в пределах рынка
вакансия
300 000 ₽
в среднем
306 100 ₽
мэтч
Загрузи резюме, чтобы видеть мэтчи с вакансиейЗагрузи резюме, чтобы видеть мэтч с вакой
подготовься к отклику
ai-инструментыЧтобы адаптировать резюме под вакансию или составить сопроводительное письмо, загрузи резюме
описание
В резюме все требования и стек, если с ними был опыт, должны быть отражены
задачи
- Разрабатывать потоки подключения метаданных к интеграционному слою
- Автоматизировать и шаблонизировать подключение СУБД
- Писать Python-скрипты для генерации DDL/DML и Airflow DAG для загрузки и обслуживания данных
- Оптимизировать Airflow DAG для таблиц Iceberg, включая разработку кастомных операторов и чтение при большом количестве delete-файлов
- Дорабатывать витрину DMDC
- Вести проектную документацию
требования
- Глубокая экспертиза в PySpark и Airflow
- Опыт работы с нагруженными распределёнными системами, включая Hadoop
- Навыки настройки и оптимизации Spark-приложений, управления ресурсами
- Опыт работы со Spark Streaming, Iceberg, Kafka и S3
- Знание Kubernetes и нагрузочного тестирования
- Экспертное знание SQL и оптимизации сложных запросов
- Знание математической статистики, анализа данных и основ ML
- Опыт работы в распределённых системах и обеспечения консистентности данных
условия
- Условий в вакансии нет
Группа компаний TopSelection специализируется на подборе и аутстаффинге IT-специалистов для проектов любой продолжительности обеспечивая полный цикл рекрутмента, техническую оценку, гарантию замены и поддержку развития кадров на российском и международном рынках
Подробнее о компании →Если просят выйти из iCloud, прислать код из SMS, запустить или установить что-то, перевести деньги — не соглашайся: это мошенничество.
