data engineer для банковской дата-платформы

Подразделение создаёт дата-платформу для крупнейшего юнита банка, рассчитанную на сотни петабайт данных. Команда загружает, обрабатывает и контролирует качество разрозненных данных из сотен банковских систем в едином хранилище на базе архитектуры Data Lakehouse и Hadoop.

• Разрабатывать DWH, Data Lake и Lakehouse;
• Строить поставку данных в режимах Batch, NRT и RealTime;
• Оптимизировать ETL;
• Повышать актуальность данных;
• Снижать задержку доступа к данным;
• Разрабатывать и валидировать архитектуру данных;
• Разрабатывать и поддерживать витрины данных в Hadoop;
• Создавать NRT-пайплайны и dynamic tables.

• Отлично знать SQL, включая join, CTE, оконные функции и фреймы;
• Иметь опыт работы с Hadoop, Spark, Iceberg или Paimon;
• Иметь опыт работы с Kafka и другими брокерами;
• Иметь опыт работы с оркестраторами, например Airflow, и CI/CD;
• Иметь опыт построения архитектуры данных, например Data Vault, Инман или Кимбалл;
• Иметь опыт многократной оптимизации ETL;
• Будет плюсом практическое знание Python на уровне разработки ETL, практическое знание Java или Scala, опыт создания и защиты архитектуры данных, опыт разработки solution-архитектуры data-продуктов.

• Зарплата до 480 000 ₽ до вычета налогов;
• Офис на станции метро Кутузовская, улица Поклонная, 3;
• Годовая премия;
• Корпоративный спортзал и зоны отдыха;
• Более 400 образовательных программ СберУниверситета;
• Регулярные митапы и развитое DS-сообщество;
• Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа;
• Льготная ставка по ипотечному кредиту, равная 1/3 ключевой ставки ЦБ;
• Подписка Прайм с возможностью совместного использования с тремя близкими;
• Вознаграждение за рекомендацию друзей в команду Сбера.