описание
Описания нет
задачи
- Разработка и сопровождение ETL/ELT-процессов и потоков обработки данных (Batch / Real-Time).
- Разработка и оптимизация SQL-запросов, процедур и аналитических витрин в DWH.
- Участие в развитии архитектуры DWH, моделировании данных и оптимизации хранения.
- Разработка и сопровождение интеграций с использованием Kafka, NiFi, CDC и REST API.
- Разработка Python-скриптов для обработки данных, автоматизации и интеграций.
- Мониторинг, диагностика и оптимизация процессов загрузки и обработки данных.
- Обеспечение качества данных, участие в Code Review и CI/CD.
требования
- Опыт работы в Data Engineering / DWH от 3 лет.
- Уверенное знание SQL и опыт работы с Greenplum, PostgreSQL или Oracle.
- Понимание архитектуры DWH, принципов моделирования данных, ETL/ELT и MPP.
- Опыт разработки ETL-процессов (Informatica PowerCenter, Airflow или аналоги).
- Знание Python и принципов работы REST API (HTTP, JSON).
- Опыт работы с Kafka и/или NiFi, понимание CDC и потоковой обработки данных.
- Навыки оптимизации SQL, работы с Linux и Git.
- Будет плюсом: Опыт работы со StarRocks, YMatrix или ClickHouse; Знание Informatica PowerExchange CDC, Debezium или IBM CDC; Опыт работы Flink, Spark/PySpark; Знакомство с FastAPI, Flask, Docker и CI/CD; Опыт разработки решений для банковских систем
условия
- Работу над развитием корпоративной Data Platform крупного банка.
- Участие в проектах DWH, Real-Time Analytics и интеграции данных.
- Возможность работать с современным стеком Data Engineering и развивать профессиональные компетенции.
навыки
компания
Казахстанский банк: розничные и корпоративные услуги.