ETL developer

грейд
senior
формат
удалённо
страна
Россия
язык
Английский B1
опубликована
сегодня

описание

Ищем ETL-разработчика, который умеет строить, поддерживать и оптимизировать процессы обработки и перемещения данных. Предстоит работать с SQL, Python, ETL/ELT-пайплайнами, оркестрацией процессов и архитектурой DWH, обеспечивая стабильность загрузок, качество данных и производительность решений.

задачи

  • Разрабатывать, поддерживать и оптимизировать ETL/ELT-процессы для извлечения, преобразования и загрузки данных из различных источников.
  • Реализовывать пайплайны обработки данных с использованием SQL, Python и Apache Airflow.
  • Интегрировать данные из реляционных БД, API, файловых источников и систем обмена сообщениями.
  • Разрабатывать инкрементальные загрузки, механизмы повторного запуска, обработки ошибок и восстановления процессов.
  • Реализовывать дедупликацию, проверку полноты, целостности и корректности данных.
  • Работать с архитектурой DWH, Data Lake и различными слоями хранения и обработки данных.
  • Оптимизировать SQL-запросы, процедуры загрузки, работу с индексами и производительность баз данных.
  • Разрабатывать и сопровождать DAG в Airflow, настраивать зависимости, расписания, retries, сенсоры и мониторинг выполнения.
  • Работать с распределённой обработкой данных и большими объёмами информации.
  • Участвовать в развитии инфраструктуры обработки данных, автоматизации процессов и улучшении качества существующих пайплайнов.
  • Разбираться в сбоях ETL-процессов, анализировать логи, выявлять причины проблем и реализовывать решения.

требования

  • Уверенное владение SQL: сложные JOIN, CTE, подзапросы, оконные функции, агрегирование.
  • Опыт оптимизации запросов, анализа планов выполнения и поиска узких мест.
  • Понимание индексов, партиционирования, блокировок и принципов эффективной работы с БД.
  • Коммерческий опыт работы с PostgreSQL, Oracle, Greenplum или другими промышленными СУБД.
  • Опыт работы с PL/SQL или процедурным SQL — в зависимости от используемого стека.
  • Коммерческий опыт разработки и сопровождения ETL/ELT-процессов.
  • Понимание принципов извлечения, загрузки и трансформации данных из различных источников: БД, API, файлов, очередей.
  • Опыт разработки процессов загрузки, преобразования и переноса данных.
  • Понимание инкрементальных загрузок, CDC, обработки изменений и повторного запуска процессов.
  • Опыт обработки ошибок, дедупликации, контроля полноты и целостности данных.
  • Понимание особенностей обработки больших объёмов данных и оптимизации пайплайнов.
  • Уверенное владение Python для разработки ETL-процессов и автоматизации обработки данных.
  • Опыт работы с библиотеками обработки данных.
  • Написание скриптов для загрузки, трансформации, проверки и автоматизации работы с данными.
  • Работа с API, файлами, логированием, обработкой исключений и ошибками выполнения.
  • Понимание принципов написания поддерживаемого и переиспользуемого кода.
  • Практический опыт работы с Apache Airflow.
  • Разработка DAG, настройка зависимостей, расписаний, retries, сенсоров и мониторинга пайплайнов.
  • Понимание архитектуры Data Warehouse и Data Lake, принципов построения слоёв данных (ODS, DDS, Data Mart и аналогичных).
  • Понимание различий OLTP и OLAP, принципов моделирования и организации хранения данных.
  • Знакомство с Apache Spark, Hadoop, Hive или Impala и принципами распределённой обработки данных.
  • Git: работа с репозиториями, ветками, коммитами и Merge Requests.
  • Linux: командная строка, работа с логами, запуск, мониторинг и диагностика процессов.
  • Docker: понимание контейнеризации приложений и окружений.
  • CI/CD: понимание процессов сборки, тестирования и доставки изменений.
  • Будет плюсом: Опыт работы с dbt: разработка моделей, трансформаций, тестов и документации данных; Практический опыт работы с Apache Spark / PySpark; Опыт работы с Kafka и потоковой обработкой данных; Знание ClickHouse, Greenplum, Vertica или других аналитических СУБД; Знакомство с Apache Iceberg, Delta Lake и современными форматами хранения данных; Опыт внедрения автоматизированных проверок качества данных (Data Quality); Понимание MPP-архитектуры и распределённых вычислений; Опыт миграции DWH, ETL-процессов и модернизации инфраструктуры обработки данных; Опыт работы с банковскими, финансовыми или высоконагруженными системами; Умение читать техническую документацию на английском языке

условия

  • Условий в вакансии нет

навыки

компания

похожие вакансии

статьи для разработчиков