описание
Описания нет
задачи
- Разрабатывать и сопровождать ETL/ELT-пайплайны на Python и Apache Airflow
- Разрабатывать и оптимизировать SQL-запросы в Greenplum
- Строить потоковую обработку данных с использованием Apache Kafka
- Интегрировать данные из различных источников: БД, REST API, файловых систем
- Разрабатывать REST API и микросервисы на FastAPI
- Проектировать структуры данных, витрины и модели хранения в DWH
- Оптимизировать производительность загрузки и обработки больших объёмов данных
- Настраивать мониторинг, логирование и обработку ошибок в пайплайнах
- Обеспечивать качество, целостность и актуальность данных
требования
- Опыт работы Data Engineer от 3 лет
- Уверенное знание Python для обработки данных, интеграций и автоматизации
- Продвинутый SQL: сложные запросы, оконные функции, CTE и оптимизация
- Практический опыт работы с Greenplum или PostgreSQL
- Опыт разработки DAG в Apache Airflow
- Понимание принципов работы Apache Kafka: topics, partitions, consumer groups, offsets
- Опыт разработки REST API на FastAPI
- Понимание архитектуры DWH, ETL/ELT и принципов построения конвейеров данных
- Опыт работы с Git и Linux
условия
- ДМС
- Внешнее обучение
- Компенсация за фитнес
- Скидки и бонусы от компаний, входящих в холдинг
