DWH engineer системы оценки и рейтингов

Проект предполагает модификацию программного обеспечения и расширение функционала автоматизированной системы оценки и построения рейтингов.

• Обследовать действующие интеграции, состав данных и расчёты, согласовывать изменения
• Составлять и актуализировать документацию, спецификации источников данных, правила преобразования и реестр расчётов
• Согласовывать документы и изменения в системах управления метаданными
• Разрабатывать новые и дорабатывать существующие интеграции
• Разрабатывать дата-продукты, сервисы доступа к данным, витрины, процессы расчётов и преобразования данных в различных слоях хранилища данных
• Выполнять и контролировать загрузку истории данных, настраивать регулярное обновление и устранять ошибки загрузки
• Тестировать процессы интеграции и обработки данных, сверять их с источниками и устранять дефекты

• Опыт от 2,5 лет в качестве инженера данных или разработчика ETL на SQL и PySpark
• Опыт работы с PostgreSQL, Apache Airflow, API, веб-сервисами и очередями
• Опыт реализации ETL/ELT для хранилищ или озёр данных
• Уверенное владение SQL и PL/SQL, навыки оптимизации SQL, в том числе для OLAP
• Умение создавать DAG в Apache Airflow и управлять зависимостями ETL-пайплайнов
• Знание подходов к разработке, документированию и тестированию потоков данных
• Базовые знания Apache Hadoop (Spark, Hive или Impala), полученные на курсах, практике или самостоятельно
• Опыт работы с брокерами сообщений Kafka или RabbitMQ
• Знание Jira, Confluence и Git
• Готовность самостоятельно дорабатывать постановки аналитиков и документировать результаты в базе знаний
• Готовность работать в сжатые сроки
• Умение взаимодействовать с разработчиками, аналитиками, архитекторами и экспертами заказчика
• Будет плюсом: опыт работы с S3 Minio и Apache Iceberg

• Оклад до 220 000 ₽/мес