data engineer в DWH

Описания нет

• Участие в миграции данных и процессов с MS SQL на Postgres Pro
• Построение и сопровождение CDC-процессов из PostgreSQL в DWH на ClickHouse
• Разработка и поддержка ETL/ELT-пайплайнов (Airflow, Python, SQLMesh)
• Оптимизация запросов и структур данных, диагностика проблем производительности
• Администрирование БД
• Взаимодействие с пользователями БД по вопросам архитектуры и нагрузки
• Описание источников и моделей данных в каталоге данных на OpenMetadata
• Передача экспертизы команде: стандарты, документация, ревью решений

• Высшее образование (ИТ, точные науки, инженерное)
• Опыт работы от 3-х лет по специальности
• Глубокое понимание архитектуры PostgreSQL: MVCC, WAL, autovacuum, планировщик, блокировки
• Опыт работы с HA-кластерами PostgreSQL (Patroni, BiHA или аналоги): понимание механизмов failover и switchover, их влияние на приложения и потоки данных
• Понимание физической и логической репликации и их влияния на нагрузку
• Практический опыт построения CDC (Debezium, логическая репликация или аналоги)
• Умение анализировать планы выполнения и оптимизировать запросы
• Опыт проектирования индексов и партиционирования
• Уверенное владение Python и опыт работы с Apache Airflow
• Будет плюсом: Будет плюсом опыт работы со следующими технологиями: Postgres Pro, ClickHouse; Опыт эксплуатации HA-кластеров PostgreSQL (Patroni или аналоги); Опыт работы с OpenMetadata или другими каталогами данных; Опыт работы с трансформационными пакетами dbt или SQLMesh

• Работа в одной из крупнейших управляющих компаний России
• Полное соблюдение требований трудового законодательства
• Бонусы по итогом года
• Социальный пакет (ДМС + другие виды страхования для работников, дни самозаботы)
• Корпоративные мероприятия