описание
Описания нет
задачи
- реализация в тандеме с архитектором физического уровня архитектуры данных в DWH для всех слоев (raw data layer, core data layer, data mart layer)
- реализация ETL-пайплайнов передачи данных из различных внутренних и внешних ИТ-систем, используя разные подходы получения данных из источника
- построение эффективной системы оркестрации ETL-пайплайнов обеспечивающей обновление данных в DWH согласно обозначенным бизнес требованиям
- реализация и поддержка прикладных решений для контроля качества данных в DWH
- реализация и поддержка прикладных решений для управления метаданными DWH
- участие в R&D для выбора инструментов для построение отдельных частей платформы данных
требования
- Опыт работы от 3х лет
- базовые навыки в области инженерии данных
- системное аналитическое инженерное мышление
- умеренный перфекционизм и внимание к деталям
- понимание концепций проектирования DWH
- продвинутый уровень знания SQL
- высокий уровень владения Python для обработки данных
- опыт работы с оркестраторами и понимание концепции DAG
- опыт разработки и поддержки end-to-end пайплайнов данных
- опыт получения данных из различных типов API
- опыт работы с потоковой обработкой данных
- умение работать с GIT
условия
- график работы: на испытательном сроке офис 5/2, далее гибрид
- ежегодная индексация зарплаты, компенсация питания, премии по результатам работы, доплаты за больничный, материальная помощь в сложных ситуациях
- релокация из любой точки мира