Мы передовое ИТ подразделение, создающее дата платформу на сотни петобайт данных для крупшейнего юнита банка. Нами реализована загрузка, обработка и контроль качетсва разрозненных данных из сотен систем-истоников банка в единое хранилище в Data Lakehouse архитектуре на платформе Hadoop. Ищем сильных и энергичных дата инженеров для развития нашей платформы в сторону обработки данных в режимах батчевой и потоковой загрузки. Вы будете работать в сильной команде дата инженеров с сложными инженерными задачами, передовым стеком технологий и самыми большими объемами данных в Европе.
Data engineer
подготовься к отклику
ai-инструментыЧтобы адаптировать резюме под вакансию или составить сопроводительное письмо, загрузи резюме
описание
задачи
- разработка DWH/DataLake/LakeHouse
- построение поставки данных в Batch/NRT/RealTime
- оптимизация ETL
- повышение актуальности данных
- снижение latency доступа к данным
- разработка и валидация архитектуры данных
требования
- отличное знание SQL (join, CTE, оконные функции, фреймы и др.)
- опыт работы с Hadoop, Spark, Iceberg/Paimon
- опыт работы с Kafka и др. Брокерами
- опыт работы с оркестраторами (например, Airflow) и CI/CD
- опыт построения архитектуры данных (например, Data Vault, Инман, Кимбалл и др.)
- опыт кратной оптимизации ETL
- Будет плюсом: практическое знание python на уровне разработки ETL будет преимуществом; практическое знание java/scala будет преимуществом; практический опыт создания и защиты архитектуры данных будет преимуществом; практический опыт разработки solution-архитектуры data-продуктов будет преимуществом
условия
- офисный формат работы
- годовая премия
- корпоративный спортзал и зоны отдыха
- более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
- регулярные митапы и развитое DS-community
- расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
- гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
- подписка Прайм с возможностью совместного использования на трёх близких
- вознаграждение за рекомендацию друзей в команду Сбер.
навыки
Крупнейший российский банк и экосистема. Предоставляет банковские услуги: кредиты, вклады, карты, ипотека. Развивает сервисы: доставка, здоровье, развлечения, облачные технологии и ИИ. Удобно для финансов и повседневных задач.
Подробнее о компании →Если просят выйти из iCloud, прислать код из SMS, запустить или установить что-то, перевести деньги — не соглашайся: это мошенничество.