описание
Описания нет
задачи
- Проектирование, разработка и развитие архитектуры корпоративного DWH и Real-Time Data Platform.
- Разработка и оптимизация высоконагруженных ETL/ELT-процессов и потоков обработки данных (Batch / Real-Time).
- Проектирование моделей данных, аналитических витрин и механизмов хранения в MPP-системах.
- Проектирование и реализация интеграций с использованием Kafka, NiFi, CDC и REST API.
- Разработка сервисов предоставления данных с использованием Python и современных фреймворков.
- Оптимизация производительности SQL, ETL и потоковой обработки данных.
- Обеспечение отказоустойчивости, масштабируемости, качества данных и соблюдения SLA.
- Разработка технических решений, проведение Code Review и внедрение инженерных стандартов.
- Техническое наставничество инженеров и взаимодействие с архитекторами и смежными командами.
требования
- Опыт работы в Data Engineering / DWH от 4–5 лет.
- Экспертное владение SQL, опыт работы с Greenplum, StarRocks, PostgreSQL и/или Oracle.
- Глубокое понимание архитектуры DWH, MPP, моделирования данных и ETL/ELT.
- Опыт проектирования и оптимизации сложных ETL-процессов (Informatica PowerCenter, Airflow или аналоги).
- Уверенное владение Python, опыт разработки интеграций и REST-сервисов (FastAPI / Flask или аналоги).
- Практический опыт работы с Kafka и/или NiFi, понимание CDC, Event-Driven Architecture и потоковой обработки данных.
- Знание принципов распределённых систем, идемпотентности, обработки ошибок и восстановления данных.
- Опыт оптимизации SQL, анализа производительности и работы с большими объёмами данных.
- Уверенные навыки работы с Linux, Git и CI/CD.
- Опыт проектирования технических решений и проведения Code Review.
- Будет плюсом: Практический опыт с Informatica PowerExchange CDC, Debezium или IBM CDC; Знание Apache Flink, Spark/PySpark; Опыт разработки Data Engineering-фреймворков и переиспользуемых компонентов; Опыт работы с Docker, Kubernetes, Redis, S3 / MinIO; Опыт построения высоконагруженных сервисов предоставления данных и Real-Time Analytics; Опыт интеграции Data Platform с ML/AI-сервисами; Опыт работы в банковской или финансовой сфере
условия
- Участие в развитии корпоративной Data Platform крупного банка.
- Работу над архитектурой DWH, Real-Time Analytics и высоконагруженными сервисами данных.
- Возможность влиять на технологические решения, инженерные стандарты и развитие платформы.
- Работу с современными технологиями Data Engineering и распределёнными системами.
навыки
компания
Казахстанский банк: розничные и корпоративные услуги.