Data engineer in banking

грейд
middle
формат
офис Астана
страна
Казахстан
опубликована
сегодня

описание

Описания нет

задачи

  • Разработка и сопровождение ETL/ELT-процессов и потоков обработки данных (Batch / Real-Time).
  • Разработка и оптимизация SQL-запросов, процедур и аналитических витрин в DWH.
  • Участие в развитии архитектуры DWH, моделировании данных и оптимизации хранения.
  • Разработка и сопровождение интеграций с использованием Kafka, NiFi, CDC и REST API.
  • Разработка Python-скриптов для обработки данных, автоматизации и интеграций.
  • Мониторинг, диагностика и оптимизация процессов загрузки и обработки данных.
  • Обеспечение качества данных, участие в Code Review и CI/CD.

требования

  • Опыт работы в Data Engineering / DWH от 3 лет.
  • Уверенное знание SQL и опыт работы с Greenplum, PostgreSQL или Oracle.
  • Понимание архитектуры DWH, принципов моделирования данных, ETL/ELT и MPP.
  • Опыт разработки ETL-процессов (Informatica PowerCenter, Airflow или аналоги).
  • Знание Python и принципов работы REST API (HTTP, JSON).
  • Опыт работы с Kafka и/или NiFi, понимание CDC и потоковой обработки данных.
  • Навыки оптимизации SQL, работы с Linux и Git.
  • Будет плюсом: Опыт работы со StarRocks, YMatrix или ClickHouse; Знание Informatica PowerExchange CDC, Debezium или IBM CDC; Опыт работы Flink, Spark/PySpark; Знакомство с FastAPI, Flask, Docker и CI/CD; Опыт разработки решений для банковских систем

условия

  • Работу над развитием корпоративной Data Platform крупного банка.
  • Участие в проектах DWH, Real-Time Analytics и интеграции данных.
  • Возможность работать с современным стеком Data Engineering и развивать профессиональные компетенции.

навыки

компания

похожие вакансии

статьи для разработчиков