описание
Описания нет
задачи
- Подключать источники: реляционные и NoSQL БД, API, файлы, CDC. Настраивать batch/ELT-загрузки и выгрузки во внешние системы.
- Разрабатывать в Lakehouse справочники, факты, витрины и сервисные датасеты, учитывая объёмы, историчность и сценарии потребления.
- Делать near-real-time пайплайны на Kafka и Flink: доставка, фильтрация, обогащение и маршрутизация событий.
- Готовить и публиковать признаки в Feature Store для ML/AI и скоринга.
- Оптимизировать SQL-запросы, модели и структуру таблиц: партиционирование, compaction, schema evolution.
- Писать проверки качества данных (dbt, SQL, Python), настраивать мониторинг, разбирать инциденты и расхождения.
- Описывать data products в каталоге: metadata, lineage, owner, SLA.
требования
- От 2 лет опыта в Data Engineering (DWH / Data Lake / Lakehouse).
- Сильный SQL: оконные функции, все типы JOIN, чтение EXPLAIN / ANALYZE, понимание физических join-стратегий, predicate pushdown, partition pruning.
- Понимание моделирования DWH: звезда/снежинка, SCD, слои хранения.
- Опыт с Airflow или другим оркестратором, а также с dbt (models, tests, sources, macros, contracts).
- Базовое понимание Iceberg, Trino, Parquet/Avro.
- Опыт интеграции данных из БД, API, файлов, Kafka, CDC. Linux, Python/Bash, Git, базовое понимание CI/CD.
- Высшее техническое образование.
- Будет плюсом: Kafka (партиции, offset, consumer groups, delivery guarantees), Schema Registry; Flink (event time, watermarks, state, checkpoints) и Java на уровне доработки Flink-приложений; Docker и Kubernetes (kubectl, deployment, configmap/secret); Опыт подготовки признаков для ML, работы с каталогом данных и lineage
условия
- Условий в вакансии нет
навыки
компания
Оператор сотовой связи Казахстана: мобильная связь, 4G/5G, интернет и цифровые сервисы.