data engineer

Добавь резюме в профиле, а нейросеть определит твою категорию. Затем ты сможешь генерировать сопроводительные письма для вакансий этой категории

Команда занимается разработкой и поддержкой пайплайнов обработки данных в банке. Вам нужно будет разрабатывать, поддерживать и оптимизировать DAG-и в Apache Airflow, создавать динамические даги, управлять зависимостями и SLA, организовывать загрузку данных из разных источников вроде REST API, Kafka, баз данных и S3/HDFS в хранилище, использовать PySpark для сложных трансформаций, очистки и подготовки данных перед загрузкой в ClickHouse, работать с ClickHouse для загрузки данных, создания таблиц и простых витрин для аналитиков, внедрять проверки качества данных на всех этапах и мониторить свежесть и корректность данных.

• Уверенно владеете Python (OOP, requests, pandas/numpy, sqlalchemy), пишете чистый, тестируемый и поддерживаемый код
• Есть опыт разработки и поддержки сложных пайплайнов в Apache Airflow и ELT/ETL, понимаете принципы построения DWH, реализовывали инкрементальные загрузки и идемпотентные процессы, синхронизировали данные между системами
• Есть опыт написания джобов в Apache Spark (PySpark) для пакетной обработки данных
• Уверенно знаете SQL и умеете работать с ClickHouse: создавать таблицы, выбирать движок, писать запросы на вставку и выборку
• Будет плюсом опыт работы с распределенными хранилищами (HDFS, S3, Apache Iceberg), понимание процессов CI/CD и контейнеризации

• Трудоустройство по ТК РФ, полностью белая зарплата
• График 5/2 по московскому времени с гибким стартом в 9:00 или 10:00
• Возможность посещать офис в Москве