Мы развиваем направление аналитики и работы с данными транзакционного бизнеса. Ищем в команду инженера по данным, который будет помогать строить дата-продукты с основным фокусом на разработку в Hadoop-экосистеме.
вчера
Big data engineer in transactional business
ориентир по рынку
вакансия
зп не указана
в среднем
146 553 ₽
мэтч
Загрузи резюме, чтобы видеть мэтчи с вакансиейЗагрузи резюме, чтобы видеть мэтч с вакой
подготовься к отклику
ai-инструментыЧтобы адаптировать резюме под вакансию или составить сопроводительное письмо, загрузи резюме
описание
задачи
- анализировать требования бизнеса по получению новых данных, оценивать наличие данных, сложности и риски
- искать зависимости в данных различных источников с учетом бизнес-специфики их хранения
- проектировать и разрабатывать аналитические витрины и ETL/ELT-пайплайны в Hadoop-экосистеме
- разрабатывать и оптимизировать Hive/Spark SQL, SQL-запросы и прототипы
- работать с HDFS, Hive, Spark, форматами хранения Parquet, партиционированием и бакетированием
- тестировать ETL и выявлять баги при построении дата-продуктов.
- участвовать совместно с владельцем продукта в процессе приемки витрин данных заказчиками
- развивать экспертизу по вопросам работы с данными внутри команды
- обеспечивать доступность, контроль качества и целостность данных.
требования
- опыт работы в роли DE/DA/ETL Developer не менее 1 года
- практический опыт разработки на Hadoop: Hive, Spark, HDFS, понимание принципов MapReduce/Spark
- отличное знание SQL: вложенные запросы, оконные функции, регулярные выражения, CTE
- понимание MPP СУБД.
- знание основных понятий и концепций из области DWH
- знание инструментов DevOps: Git, Nexus, Jenkins, SonarQube; любые IDE
- умение работать с большим количеством источников данных
- Будет плюсом: Опыт Greenplum — будет преимуществом; как плюс — опыт работы с языками программирования: Scala, Java, Python
условия
- ежегодный пересмотр зарплаты, годовая премия
- корпоративный спортзал и зоны отдыха
- более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
- программа адаптации и помощь руководителя на старте
- расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
- гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
- подписка Прайм с возможностью совместного использования на трёх близких
- вознаграждение за рекомендацию друзей в команду Сбера.
навыки
Крупнейший российский банк и экосистема. Предоставляет банковские услуги: кредиты, вклады, карты, ипотека. Развивает сервисы: доставка, здоровье, развлечения, облачные технологии и ИИ. Удобно для финансов и повседневных задач.
Подробнее о компании →Если просят выйти из iCloud, прислать код из SMS, запустить или установить что-то, перевести деньги — не соглашайся: это мошенничество.
