Data engineer

грейд
senior
страна
Россия
опубликована
сегодня

описание

Описания нет

задачи

  • Разработка ETL/ELT-процессов. Разработка, оптимизация и сопровождение процессов загрузки, преобразования и обработки данных с использованием SQL, Python, Apache Spark и других инструментов.
  • Развитие DWH и аналитических витрин. Проектирование, создание и поддержка аналитических моделей и витрин данных в Hadoop (Spark, Iceberg), Greenplum и ClickHouse; оптимизация хранения, обработки и выполнения запросов.
  • Интеграция внутренних и внешних источников данных. Организация загрузки данных из внутренних систем банка и внешних платформ, включая AppMetrica, Яндекс Метрику, Яндекс Директ и другие источники, посредством API, SFTP и иных согласованных способов обмена данными.
  • Автоматизация и оркестрация. Разработка и сопровождение процессов в Apache Airflow, управление расписаниями, зависимостями, повторными запусками и обработкой ошибок; перевод ручных расчётов в автоматизированные процессы.
  • Автоматизация BI-отчётности. Обеспечение регулярного обновления источников данных, датасетов и аналитических дашбордов FineBI, контроль своевременности и корректности обновления информации.
  • Контроль качества данных. Разработка и внедрение автоматизированных проверок полноты, корректности, уникальности и актуальности данных; выявление и устранение причин расхождений и ошибок.
  • Мониторинг и сопровождение. Контроль работоспособности пайплайнов, диагностика и устранение сбоев, настройка логирования, уведомлений и механизмов восстановления процессов.
  • Взаимодействие со смежными подразделениями. Совместная работа с аналитиками, владельцами информационных систем, инфраструктурными подразделениями и командами УИБ/ИБ по вопросам доступов, интеграций, согласования технических решений и выполнения требований информационной безопасности.
  • Развитие инженерных практик. Использование Git/Bitbucket, участие в Code Review, документирование решений, соблюдение стандартов разработки и участие в развитии процессов тестирования и поставки кода.
  • Техническая проработка задач. Участие в анализе требований, оценке трудоёмкости и декомпозиции задач совместно с аналитиками; выбор и реализация технических решений в рамках архитектуры и стандартов банка.

требования

  • Уверенное владение SQL.
  • Уверенное владение Python для разработки процессов обработки данных, интеграций и автоматизации.
  • Практический опыт разработки и сопровождения ETL/ELT-процессов, включая инкрементальную загрузку, повторные запуски и обработку ошибок.
  • Опыт работы с Apache Spark (PySpark и/или Spark SQL), понимание принципов распределённой обработки больших объёмов данных.
  • Опыт работы с Apache Airflow или аналогичными инструментами оркестрации процессов.
  • Опыт работы с DWH и аналитическими базами данных, понимание архитектуры хранилищ и принципов построения аналитических витрин.
  • Понимание подходов к обеспечению качества данных, мониторингу и диагностике процессов обработки данных.
  • Опыт использования Git и инструментов совместной разработки.
  • Понимание принципов интеграции информационных систем, работы с API и основных способов передачи данных.
  • Умение работать с техническими требованиями, самостоятельно реализовывать согласованные решения и взаимодействовать с аналитиками и смежными IT-командами.

условия

  • Условий в вакансии нет

навыки

компания

похожие вакансии

статьи для разработчиков