Data engineer in DWH

грейд
senior
формат
офис Астана
страна
Казахстан
опубликована
сегодня

описание

Описания нет

задачи

  • Проектирование, разработка и развитие архитектуры корпоративного DWH и Real-Time Data Platform.
  • Разработка и оптимизация высоконагруженных ETL/ELT-процессов и потоков обработки данных (Batch / Real-Time).
  • Проектирование моделей данных, аналитических витрин и механизмов хранения в MPP-системах.
  • Проектирование и реализация интеграций с использованием Kafka, NiFi, CDC и REST API.
  • Разработка сервисов предоставления данных с использованием Python и современных фреймворков.
  • Оптимизация производительности SQL, ETL и потоковой обработки данных.
  • Обеспечение отказоустойчивости, масштабируемости, качества данных и соблюдения SLA.
  • Разработка технических решений, проведение Code Review и внедрение инженерных стандартов.
  • Техническое наставничество инженеров и взаимодействие с архитекторами и смежными командами.

требования

  • Опыт работы в Data Engineering / DWH от 4–5 лет.
  • Экспертное владение SQL, опыт работы с Greenplum, StarRocks, PostgreSQL и/или Oracle.
  • Глубокое понимание архитектуры DWH, MPP, моделирования данных и ETL/ELT.
  • Опыт проектирования и оптимизации сложных ETL-процессов (Informatica PowerCenter, Airflow или аналоги).
  • Уверенное владение Python, опыт разработки интеграций и REST-сервисов (FastAPI / Flask или аналоги).
  • Практический опыт работы с Kafka и/или NiFi, понимание CDC, Event-Driven Architecture и потоковой обработки данных.
  • Знание принципов распределённых систем, идемпотентности, обработки ошибок и восстановления данных.
  • Опыт оптимизации SQL, анализа производительности и работы с большими объёмами данных.
  • Уверенные навыки работы с Linux, Git и CI/CD.
  • Опыт проектирования технических решений и проведения Code Review.
  • Будет плюсом: Практический опыт с Informatica PowerExchange CDC, Debezium или IBM CDC; Знание Apache Flink, Spark/PySpark; Опыт разработки Data Engineering-фреймворков и переиспользуемых компонентов; Опыт работы с Docker, Kubernetes, Redis, S3 / MinIO; Опыт построения высоконагруженных сервисов предоставления данных и Real-Time Analytics; Опыт интеграции Data Platform с ML/AI-сервисами; Опыт работы в банковской или финансовой сфере

условия

  • Участие в развитии корпоративной Data Platform крупного банка.
  • Работу над архитектурой DWH, Real-Time Analytics и высоконагруженными сервисами данных.
  • Возможность влиять на технологические решения, инженерные стандарты и развитие платформы.
  • Работу с современными технологиями Data Engineering и распределёнными системами.

навыки

компания

похожие вакансии

статьи для разработчиков