Data Engineer

ИТ B2C — крупнейшая экосистема Сбера, которая разрабатывает и развивает розничные решения, помогая сделать банковские сервисы доступнее, безопаснее и удобнее. Команда развивает клиентский опыт B2C и работает с витринами данных на базе Hadoop, датасетами для обучения моделей и репликами первичных данных.

• Проектировать, разрабатывать и сопровождать витрины данных на базе Hadoop;
• Участвовать в разработке ETL-процессов для загрузки данных в витрины;
• Поддерживать и мониторить работу витрин данных;
• Взаимодействовать с командами разработки, системными аналитиками и дата-аналитиками по вопросам сбора, обработки и хранения данных;
• Разбирать инциденты качества данных и развивать автоматизированные тесты Data Quality;
• Документировать разработанные решения;
• Разрабатывать базовые и специальные витрины данных в Едином ПКАП B2C;
• Готовить датасеты для обучения моделей в FeatureStore B2C;
• Разрабатывать витрины данных на Hadoop в ПКАПе команды;
• Реализовывать реплики в КАП «Первичные данные».

• Практический опыт разработки витрин данных и построения ETL-процессов;
• Уверенное владение SQL, включая аналитические функции, подзапросы, хранимые процедуры и функции, оптимизацию производительности;
• Готовность создавать инструменты для задач инфраструктуры и разработки;
• Опыт работы с Hadoop, включая HDFS, YARN и Hive, а также Spark;
• Знание Java или Scala и опыт разработки на этих языках;
• Опыт разработки на Python;
• Понимание инструментов и технологий Big Data;
• Знание принципов построения распределённых систем хранения и обработки данных;
• Опыт обработки и миграции больших объёмов данных между различными источниками;
• Опыт работы с Git;
• Навыки работы с генеративными AI-моделями;
• Опыт использования GigaChat, Kandinsky и аналогов в продуктах;
• Будет плюсом опыт работы с Kafka, CI/CD-инструментами Jenkins и GitLab CI, Docker и другими технологиями контейнеризации, системами Unix и bash.

• Офис на Кутузовской с зонами отдыха и спортзалом;
• Годовой бонус и ежегодный пересмотр;
• Расширенный ДМС с первого дня, стоматология и льготное страхование для семьи;
• Корпоративный университет Сбера и внутренняя образовательная платформа;
• Участие в IT-конференциях;
• Льготная ипотека в Сбере;
• Корпоративная пенсионная программа;
• Подписка СберПрайм+;
• Скидки от партнёров и сервисов группы компаний;
• Можно работать удалённо 90 дней из любого региона РФ, кроме сопровождения.