инженер данных HR-данных

Инженер будет работать с HR-данными в рамках корпоративного DWH.

• Разрабатывать и поддерживать пайплайны загрузки и трансформации HR-данных
• Интегрировать источники: API, Kafka, базы данных и файловые хранилища
• Строить витрины и обеспечивать их консистентность
• Оптимизировать производительность и стоимость обработки данных
• Обеспечивать стабильность обработки данных: обрабатывать сбои, настраивать повторные попытки и мониторинг
• Выстраивать архитектурные решения

• Уверенно разрабатывать на Python
• Знать ETL/ELT-пайплайны, работу с API и обработку больших объёмов данных
• Продвинуто владеть SQL: сложные соединения, оконные функции, оптимизация запросов и понимание планов выполнения
• Иметь практический опыт работы с Greenplum, ClickHouse и MS SQL Server
• Знать MPP, распределение данных и оптимизацию в Greenplum
• Уметь строить витрины и работать с большими таблицами в ClickHouse
• Иметь опыт работы с consumer/producer в Kafka и понимать семантику доставки и обработки сообщений
• Уверенно работать с REST API: пагинация, повторные попытки и обработка ошибок
• Уметь читать и записывать данные в S3-совместимые хранилища, организовывать и партиционировать данные
• Понимать архитектуру хранения данных: DWH, Data Lake, Lake House, Medallion, Federations и другие подходы
• Будет плюсом: опыт работы с Trino, построения DWH, понимание data lineage и контроля качества данных, опыт оркестрации с Airflow или аналогами

• Гибкая система премирования
• Расширенный социальный пакет: ДМС со стоматологией с первого месяца, услуги психолога и страхование жизни
• Компенсация питания и оплата мобильной связи
• Автономность в работе и возможность влиять на правила, пробовать новое и создавать
• Возможность профессионального роста и программы развития
• Корпоративное обучение и доступ к базе знаний
• Внутренние профессиональные сообщества и мероприятия
• График 5/2
• Постоянный контракт
• Офис в Москве по адресу: Проспект Лихачева, 15