data engineer

Описания нет

• Анализировать источники данных легаси БД MSSQL, собирать информацию о наполнении, выявлять ключевые бизнес-сущности, зависимости и регламентные операции;
• Проектировать и оптимизировать потоки переноса данных из MSSQL в новое хранилище;
• Разрабатывать и поддерживать модели данных и трансформации в dbt для формирования конечных витрин;
• Организовывать и автоматизировать процессы оркестрации с Airflow;
• Обеспечивать качество, тестирование данных и их целостность при миграции и трансформации;
• Работать с потоками данных и интегрироваться с Kafka для обмена и передачи событий в реальном времени.

• Опыт работы с реляционными базами данных;
• Умение создавать и оптимизировать сложные SQL-запросы;
• Способность проектировать и создавать модели данных для аналитических задач и эффективной работы хранилищ данных;
• Владение методологиями Data Vault и другими современными подходами к моделированию данных;
• Опыт документирования моделей данных и поддержания их совместимости с процессами ETL/ELT и бизнес-метриками;
• Умение управлять изменениями модели при росте объема данных и изменениях в требованиях аналитики;
• Знание Python;
• Опыт работы с объектным хранилищем S3, стримингом данных Kafka, реляционными СУБД Postgres и MSSQL, NoSQL MongoDB, аналитической СУБД Clickhouse;
• Опыт создания и поддержки ETL/ELT-конвейеров данных;
• Умение создавать модели данных и преобразования с помощью dbt, знание SQL и шаблонизации в dbt;
• Опыт оркестрации процессов с помощью Apache Airflow, настройки DAG, автоматизации и мониторинга ETL-задач;
• Понимание методологии и практик DataOps для контроля версий моделей, тестирования, мониторинга и безопасного развертывания;
• Навыки документирования процессов и работы с технической документацией;
• Сотрудничество оформляется через ИП.

• Удалённый формат работы;
• Фултайм.