описание
Ищем ETL-разработчика, который умеет строить, поддерживать и оптимизировать процессы обработки и перемещения данных. Предстоит работать с SQL, Python, ETL/ELT-пайплайнами, оркестрацией процессов и архитектурой DWH, обеспечивая стабильность загрузок, качество данных и производительность решений.
задачи
- Разрабатывать, поддерживать и оптимизировать ETL/ELT-процессы для извлечения, преобразования и загрузки данных из различных источников.
- Реализовывать пайплайны обработки данных с использованием SQL, Python и Apache Airflow.
- Интегрировать данные из реляционных БД, API, файловых источников и систем обмена сообщениями.
- Разрабатывать инкрементальные загрузки, механизмы повторного запуска, обработки ошибок и восстановления процессов.
- Реализовывать дедупликацию, проверку полноты, целостности и корректности данных.
- Работать с архитектурой DWH, Data Lake и различными слоями хранения и обработки данных.
- Оптимизировать SQL-запросы, процедуры загрузки, работу с индексами и производительность баз данных.
- Разрабатывать и сопровождать DAG в Airflow, настраивать зависимости, расписания, retries, сенсоры и мониторинг выполнения.
- Работать с распределённой обработкой данных и большими объёмами информации.
- Участвовать в развитии инфраструктуры обработки данных, автоматизации процессов и улучшении качества существующих пайплайнов.
- Разбираться в сбоях ETL-процессов, анализировать логи, выявлять причины проблем и реализовывать решения.
требования
- Уверенное владение SQL: сложные JOIN, CTE, подзапросы, оконные функции, агрегирование.
- Опыт оптимизации запросов, анализа планов выполнения и поиска узких мест.
- Понимание индексов, партиционирования, блокировок и принципов эффективной работы с БД.
- Коммерческий опыт работы с PostgreSQL, Oracle, Greenplum или другими промышленными СУБД.
- Опыт работы с PL/SQL или процедурным SQL — в зависимости от используемого стека.
- Коммерческий опыт разработки и сопровождения ETL/ELT-процессов.
- Понимание принципов извлечения, загрузки и трансформации данных из различных источников: БД, API, файлов, очередей.
- Опыт разработки процессов загрузки, преобразования и переноса данных.
- Понимание инкрементальных загрузок, CDC, обработки изменений и повторного запуска процессов.
- Опыт обработки ошибок, дедупликации, контроля полноты и целостности данных.
- Понимание особенностей обработки больших объёмов данных и оптимизации пайплайнов.
- Уверенное владение Python для разработки ETL-процессов и автоматизации обработки данных.
- Опыт работы с библиотеками обработки данных.
- Написание скриптов для загрузки, трансформации, проверки и автоматизации работы с данными.
- Работа с API, файлами, логированием, обработкой исключений и ошибками выполнения.
- Понимание принципов написания поддерживаемого и переиспользуемого кода.
- Практический опыт работы с Apache Airflow.
- Разработка DAG, настройка зависимостей, расписаний, retries, сенсоров и мониторинга пайплайнов.
- Понимание архитектуры Data Warehouse и Data Lake, принципов построения слоёв данных (ODS, DDS, Data Mart и аналогичных).
- Понимание различий OLTP и OLAP, принципов моделирования и организации хранения данных.
- Знакомство с Apache Spark, Hadoop, Hive или Impala и принципами распределённой обработки данных.
- Git: работа с репозиториями, ветками, коммитами и Merge Requests.
- Linux: командная строка, работа с логами, запуск, мониторинг и диагностика процессов.
- Docker: понимание контейнеризации приложений и окружений.
- CI/CD: понимание процессов сборки, тестирования и доставки изменений.
- Будет плюсом: Опыт работы с dbt: разработка моделей, трансформаций, тестов и документации данных; Практический опыт работы с Apache Spark / PySpark; Опыт работы с Kafka и потоковой обработкой данных; Знание ClickHouse, Greenplum, Vertica или других аналитических СУБД; Знакомство с Apache Iceberg, Delta Lake и современными форматами хранения данных; Опыт внедрения автоматизированных проверок качества данных (Data Quality); Понимание MPP-архитектуры и распределённых вычислений; Опыт миграции DWH, ETL-процессов и модернизации инфраструктуры обработки данных; Опыт работы с банковскими, финансовыми или высоконагруженными системами; Умение читать техническую документацию на английском языке
условия
- Условий в вакансии нет