data engineer банковских данных

ИТ-подразделение создаёт дата-платформу объёмом в сотни петабайт для крупнейшего подразделения банка. Команда загружает, обрабатывает и контролирует качество разрозненных данных из сотен банковских систем в едином хранилище на основе Data Lakehouse и Hadoop.

• Разрабатывать и поддерживать витрины данных в Hadoop;
• Разрабатывать DWH, Data Lake и LakeHouse;
• Строить поставку данных в режимах Batch, NRT и RealTime;
• Оптимизировать ETL;
• Повышать актуальность данных;
• Снижать задержку доступа к данным;
• Разрабатывать и проверять архитектуру данных.

• Отлично знать SQL, включая join, CTE, оконные функции и фреймы;
• Иметь опыт работы с Hadoop, Spark, Iceberg или Paimon;
• Иметь опыт работы с Kafka и другими брокерами;
• Иметь опыт работы с оркестраторами, например Airflow, и CI/CD;
• Иметь опыт построения архитектуры данных, например Data Vault, Инмана или Кимбалла;
• Иметь опыт многократной оптимизации ETL;
• Будет плюсом практическое знание Python на уровне разработки ETL, практическое знание Java или Scala, опыт создания и защиты архитектуры данных, опыт разработки solution-архитектуры data-продуктов.

• Годовая премия;
• Корпоративный спортзал и зоны отдыха;
• Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития;
• Регулярные митапы и развитое DS-сообщество;
• Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа;
• Льготный дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ;
• Подписка Прайм с возможностью совместного использования с тремя близкими;
• Вознаграждение за рекомендацию друзей в команду Сбера.