Ищем Senior Data Engineer с опытом проектирования архитектуры данных, разработки ETL/ELT-пайплайнов и оптимизации хранилищ OLAP/OLTP.
Data engineer
подготовься к отклику
ai-инструментыЧтобы адаптировать резюме под вакансию или составить сопроводительное письмо, загрузи резюме
описание
задачи
- Проектирование архитектуры хранилищ, моделей данных и стратегий партиционирования.
- Разработка DAG, кастомных операторов и интеграций на Python с использованием Apache Airflow.
- Реализация потоковой обработки на Apache Flink и пакетной обработки на Apache Spark.
- Оптимизация SQL-запросов, баз данных и производительности пайплайнов.
- Обеспечение качества данных, реализация CDC и интеграций между системами.
- Ведение технической документации, задач и обращений в Jira/Confluence и сервис-деске.
- Взаимодействие с разработчиками, тестировщиками и смежными командами.
требования
- От 4 лет опыта работы Data Engineer.
- PostgreSQL, MSSQL, Redis, Cassandra.
- Trino/StarRocks, Apache Kafka, Apache Flink, Apache Airflow.
- Apache Iceberg, Lakekeeper, S3, понимание архитектуры Lakehouse.
- Python, SQL, Bash, Git.
- Опыт разработки ETL/ELT-пайплайнов, CDC, оптимизации SQL и настройки производительности.
- Знание архитектуры данных, моделей OLAP/OLTP, принципов целостности и согласованности данных.
- Уверенное владение Jira и Confluence, опыт работы с сервис-деском.
- Свободный русский язык, английский — для чтения и написания технической документации.
- Будет плюсом: InfluxDB, TimescaleDB, TDengine; Hadoop, YARN, Kubernetes; Продвинутый SQL, CI/CD для data-пайплайнов; DDD, event-driven архитектура, Apache NiFi
условия
- Условий в вакансии нет
навыки
Если просят выйти из iCloud, прислать код из SMS, запустить или установить что-то, перевести деньги — не соглашайся: это мошенничество.