data engineer производства

Описания нет

• Настраивать и оптимизировать OLAP-движки и хранилища данных
• Разрабатывать DAG, кастомные операторы, hooks и sensors для Apache Airflow
• Разрабатывать потоковые задания на Apache Flink
• Реализовывать паттерны CDC для синхронизации данных между системами
• Проектировать модели данных и стратегии их хранения
• Оптимизировать SQL-запросы и ресурсы кластеров под нагрузку
• Организовывать хранение данных для задач OLAP и OLTP с учетом требований к согласованности и целостности
• Организовывать обработку данных с применением пакетной обработки и CDC
• Подбирать паттерны интеграционных потоков с учетом их характеристик
• Заводить и сопровождать заявки в сервис-деске
• Структурировать информацию, работать с требованиями и документировать технические решения

• Опыт работы Data Engineer от 4 лет в разработке ПО
• Уверенная работа с Postgres, MSSQL, Trino, StarRocks, Cassandra и Redis
• Практический опыт с Apache Airflow, Apache Kafka и Apache Flink
• Опыт работы с Apache Iceberg, lakehouse, Lakekeeper и S3
• Глубокое знание архитектуры данных и баз данных
• Уверенное владение Python, включая асинхронность
• Умение профилировать процессы и находить узкие места
• Уверенное владение Jira и Confluence
• Понимание характеристик интеграционных паттернов, включая 3V+
• Английский для чтения и написания технической документации
• Будет плюсом: опыт работы с базами временных рядов, эксплуатацией Hadoop, YARN и Kubernetes в production-среде, продвинутый SQL, CI/CD для конвейеров данных, DDD, событийная архитектура и Apache NiFi

• Работа рассчитана на 6+ месяцев
• Условий в вакансии нет