Data Engineer

Команда аналитики банковских рисков создаёт витрины данных для принятия стратегических решений, работает с крупными объёмами информации о рынке и бизнесе, а отчёты команды читает руководство банка.

• Разрабатывать и оптимизировать витрины данных и ETL-процессы на платформе Hadoop с использованием Spark, Hive и HDFS;
• Анализировать работу существующих ETL-процессов, находить и устранять проблемные места;
• Взаимодействовать с заказчиками для сбора, формализации и декомпозиции бизнес- и функциональных требований к данным;
• Сопровождать команды бизнеса и разработки моделей по разовым запросам;
• Обеспечивать качество и доступность данных;
• Оптимизировать производительность обработки данных, включая настройку параметров заданий Spark для повышения эффективности использования ресурсов кластера;
• Применять ИИ-агентов для оптимизации и ускорения рабочих процессов.

• Глубокое знание SQL, включая оконные функции, CTE и оптимизацию планов запросов;
• Опыт работы с Apache Spark, PySpark или Spark SQL, Hadoop и HDFS;
• Знание партиционирования и распределённых вычислений;
• Опыт работы со Scala или Python;
• Понимание устройства хранилищ данных;
• Опыт работы с большими объёмами данных;
• Знание общих подходов к оптимизации;
• Навыки работы с Git и Linux Bash;
• Промышленный опыт реализации ETL-процессов;
• Общее понимание архитектур ИИ и алгоритмов машинного обучения.

• Офис рядом с метро Кутузовская;
• Ежегодный пересмотр зарплаты и годовая премия;
• Корпоративный спортзал и зоны отдыха;
• Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития;
• Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа;
• Льготная ставка по ипотечному кредиту, равная одной трети ключевой ставки ЦБ;
• Подписка Прайм с возможностью совместного использования с тремя близкими;
• Скидки на продукты компаний-партнёров;
• Вознаграждение за рекомендацию друзей в команду Сбера.