Data Engineer

Команда офиса CDO B2C строит платформу данных, обеспечивающую быстрый, надежный и качественный обмен информацией между Сбером и компаниями-партнерами. Платформа служит основой для персонализированных предложений умных продуктов и эффективных бизнес-решений.

• Проектировать и реализовывать ETL/ELT-пайплайны для загрузки и обработки данных, включая DAG в Apache Airflow;
• Оптимизировать и сопровождать процессы обработки больших данных с использованием Apache Spark и Apache Flink;
• Интегрировать источники данных, такие как базы данных, API и файловые хранилища, в единую архитектуру;
• Настраивать и администрировать Airflow для оркестрации рабочих процессов;
• Участвовать в разработке архитектуры хранения и обработки данных, включая Hadoop-экосистему;
• Документировать решения и формировать базу знаний.

• Высшее техническое образование;
• Опыт разработки, оптимизации и мониторинга ETL/ELT-процессов;
• Владение Python и библиотеками для работы с данными;
• Практический опыт работы с распределенными вычислениями: Apache Spark или Apache Flink;
• Базовые знания Scala или готовность к их изучению;
• Глубокое понимание SQL и опыт работы с реляционными базами данных;
• Знание Apache Airflow, включая создание DAG, настройку сенсоров и операторов;
• Навыки администрирования Linux, включая развертывание, мониторинг и устранение неполадок;
• Будет преимуществом навыки работы с генеративными AI-моделями, опыт с Hadoop, знание облачных платформ, навыки автоматизации, опыт работы со стриминговыми данными.

• Годовой бонус и ежегодный пересмотр зарплаты;
• Расширенный ДМС с первого дня, включая стоматологию и льготное страхование для семьи;
• Доступ к корпоративному университету Сбера, внутренней образовательной платформе и участие в IT-конференциях;
• Льготная ипотека в Сбере, корпоративная пенсионная программа, подписка СберПрайм+ и скидки от партнеров.