data engineer регуляторного хранилища

Команда строит Data Lake для регуляторного хранилища на базе ClickHouse.

• Разобраться в сложном legacy-коде;
• Спроектировать и запустить надёжные пайплайны данных;
• Участвовать в ключевых архитектурных решениях;
• Переносить и перепроектировать бизнес-логику под новый стек;
• Разрабатывать production-ready DAG в Apache Airflow;
• Управлять зависимостями, retry и backfill;
• Настраивать переменные, соединения и мониторинг ошибок;
• Проектировать решения для высоконагруженных аналитических систем;
• Участвовать в архитектурных обсуждениях.

• Отличное владение аналитическим SQL: сложные JOIN, оконные функции, CTE, агрегации и оптимизация запросов;
• Уверенное знание Oracle PL/SQL: пакеты, хранимые процедуры, функции и транзакционная логика;
• Уверенный опыт работы с ClickHouse: движки таблиц, партиционирование, индексы, материализованные представления, репликация и кодеки сжатия;
• Опыт разработки production-ready DAG в Apache Airflow;
• Понимание архитектуры Data Lake, моделирования данных под аналитику и работы с большими объёмами данных;
• От 3 лет опыта в IT, включая не менее 1 года в роли Data Engineer, ETL-разработчика или инженера данных;
• Опыт работы с высоконагруженными аналитическими системами и большими объёмами данных;
• Опыт участия в архитектурных обсуждениях и проектировании решений;
• Высшее техническое, математическое или IT-образование;
• Умение работать в команде и эффективно взаимодействовать с аналитиками, архитекторами, разработчиками и бизнесом;
• Умение аргументировать технические решения и участвовать в конструктивных обсуждениях;
• Самостоятельность, проактивность и ответственность за результат;
• Готовность разбираться в сложном legacy-коде;
• Внимательность к деталям при работе с критичными финансовыми данными;
• Будет плюсом Python, Trino, Apache Spark, Apache Iceberg, Data Quality, мониторинг пайплайнов, Git, S3-compatible storage, CI/CD для data-конвейеров, опыт в банковской сфере, знание регуляторной отчётности, опыт работы с PL+ (ЦФТ), проектирование lakehouse-архитектуры и миграции с legacy-хранилищ.

• Абсолютная свобода от бюрократии и поддержка инициативы;
• Дружелюбная корпоративная атмосфера;
• Возможности для обучения и профессионального развития;
• Ежегодный пересмотр зарплаты с учётом достижений;
• Годовой бонус;
• Современный офис, вошедший в топ-10 лучших в Казахстане;
• Возможность удалённого подключения при необходимости;
• Бесплатный тренажёрный зал в офисе;
• Электронная библиотека;
• Релокационный пакет.