data engineer

Описания нет

• Строить пайплайны выгрузки данных из систем заказчика: PostgreSQL, Oracle, Hive-таблицы, Kafka-топики, файлы, API;
• Разрабатывать и сопровождать DAG'и в Airflow - инкрементальная загрузка, ретраи, алертинг, восстановление после сбоев;
• Собирать витрины для аналитики и датасеты для AI-сервисов;
• Отвечать за качество данных: проверки на входе, контроль расхождений, понятная диагностика при инцидентах;
• Оптимизировать запросы и модели данных, когда витрина перестаёт укладываться в SLA.

• 3+ года в роли Data Engineer или близкой - ETL, DWH, backend с дата-уклоном;
• Уверенный SQL: оконные функции, планы выполнения, умение объяснить, почему запрос тормозит;
• PostgreSQL: на практике - индексы, блокировки, партиционирование;
• Python: на уровне промышленной разработки пайплайнов, а не разовых скриптов;
• Airflow или другой оркестратор - Dagster, Prefect, аналог;
• Опыт хотя бы с одной аналитической СУБД: ClickHouse, Greenplum, GaussDB(DWS), Vertica;
• Понимание распределённого хранения: HDFS, Hive-таблицы, движок вроде Spark. Конкретный дистрибутив не важен;
• Docker: собрать образ, разобраться, почему контейнер падает
• Будет плюсом: Huawei Cloud Stack (MRS, GaussDB, OBS); Kafka и CDC (Debezium); Oracle как источник; dbt; Kubernetes; Spark; Prometheus и Grafana; Data Quality и Data Contracts; подготовка данных для ML: обработка документов, векторные хранилища, эмбеддинги (ничего из этого не обязательно - часть освоите у нас)

• Масштаб. Данные группы компаний, а не витрина для одного отдела;
• Своя инфраструктура. Kubernetes, объектное хранилище, GPU-сегмент - платформа целиком, а не абстракция над чужим облаком;
• Влияние. Направление молодое, решения по слою данных принимаются сейчас.