Инженер по подготовке данных

грейд
senior
формат
офис Алматы
страна
Казахстан
опубликована
13 ноя

описание

Описания нет

задачи

  • Подключать источники: реляционные и NoSQL БД, API, файлы, CDC. Настраивать batch/ELT-загрузки и выгрузки во внешние системы.
  • Разрабатывать в Lakehouse справочники, факты, витрины и сервисные датасеты, учитывая объёмы, историчность и сценарии потребления.
  • Делать near-real-time пайплайны на Kafka и Flink: доставка, фильтрация, обогащение и маршрутизация событий.
  • Готовить и публиковать признаки в Feature Store для ML/AI и скоринга.
  • Оптимизировать SQL-запросы, модели и структуру таблиц: партиционирование, compaction, schema evolution.
  • Писать проверки качества данных (dbt, SQL, Python), настраивать мониторинг, разбирать инциденты и расхождения.
  • Описывать data products в каталоге: metadata, lineage, owner, SLA.

требования

  • От 2 лет опыта в Data Engineering (DWH / Data Lake / Lakehouse).
  • Сильный SQL: оконные функции, все типы JOIN, чтение EXPLAIN / ANALYZE, понимание физических join-стратегий, predicate pushdown, partition pruning.
  • Понимание моделирования DWH: звезда/снежинка, SCD, слои хранения.
  • Опыт с Airflow или другим оркестратором, а также с dbt (models, tests, sources, macros, contracts).
  • Базовое понимание Iceberg, Trino, Parquet/Avro.
  • Опыт интеграции данных из БД, API, файлов, Kafka, CDC. Linux, Python/Bash, Git, базовое понимание CI/CD.
  • Высшее техническое образование.
  • Будет плюсом: Kafka (партиции, offset, consumer groups, delivery guarantees), Schema Registry; Flink (event time, watermarks, state, checkpoints) и Java на уровне доработки Flink-приложений; Docker и Kubernetes (kubectl, deployment, configmap/secret); Опыт подготовки признаков для ML, работы с каталогом данных и lineage

условия

  • Условий в вакансии нет

навыки

компания

похожие вакансии

статьи для разработчиков