инженер данных мастер-систем

Описания нет

• Проектировать структуры операционных хранилищ и модели мастер-данных
• Разрабатывать процессы загрузки, обработки, хранения и передачи данных
• Создавать пакетные и потоковые интеграции между информационными системами
• Настраивать получение изменений из систем-источников, включая CDC-механизмы
• Реализовывать правила нормализации, сопоставления, дедупликации и консолидации данных
• Обеспечивать хранение истории изменений мастер-данных
• Готовить данные для передачи в DWH и другие системы-потребители
• Разрабатывать проверки качества данных, технические и бизнес-сверки
• Настраивать мониторинг, логирование и обработку ошибок
• Анализировать причины расхождений, задержек и сбоев в интеграционных процессах
• Участвовать в выборе архитектурных и технологических решений
• Сопровождать и развивать разработанные решения в промышленной эксплуатации

• Уверенное владение SQL
• Опыт разработки на Python
• Опыт проектирования структур и моделей хранения данных
• Опыт создания ETL- или ELT-процессов
• Понимание принципов пакетной и потоковой обработки данных
• Понимание интеграционных паттернов и способов передачи данных между системами
• Навыки работы с реляционными СУБД
• Понимание механизмов обеспечения целостности и консистентности данных
• Опыт настройки логирования, мониторинга и обработки ошибок
• Умение самостоятельно прорабатывать техническое решение и доводить его до промышленной эксплуатации
• Будет плюсом: опыт работы с Kafka, Flink или Debezium, практический опыт реализации CDC-процессов, опыт разработки процессов в Apache Airflow, опыт работы с ClickHouse, участие в создании MDM-решений, мастер-систем или операционных хранилищ, опыт реализации правил сопоставления, дедупликации и консолидации данных, опыт построения систем контроля качества данных и автоматизированных сверок, понимание событийно-ориентированной архитектуры, опыт интеграции с API, брокерами сообщений и внешними информационными системами, опыт работы с Git, CI/CD и контейнеризацией

• График 5/2