сегодня

data engineer платформы данных

ориентир по рынку
вакансия зп не указана
в среднем 206 574 ₽
Загрузи резюме, чтобы видеть мэтчи с вакансией

подготовьтесь к отклику

ai-инструменты

Чтобы адаптировать резюме под вакансию или составить сопроводительное письмо, загрузите резюме

описание

ИТ B2C Сбера — крупнейшая экосистема, развивающая розничные решения, чтобы сделать банковские сервисы доступнее, безопаснее и удобнее. Команда офиса CDO B2C строит платформу данных для быстрого, надежного и качественного обмена информацией между Сбером и компаниями-партнерами. Платформа служит основой для персонализированных предложений умных продуктов и эффективных бизнес-решений.

задачи

  • Проектировать и реализовывать ETL/ELT-пайплайны для загрузки и обработки данных, включая DAG в Apache Airflow;
  • Оптимизировать и сопровождать процессы обработки больших данных с Apache Spark и Apache Flink;
  • Интегрировать источники данных — базы данных, API и файловые хранилища — в единую архитектуру конвейеров;
  • Настраивать и администрировать Airflow для оркестрации рабочих процессов;
  • Участвовать в разработке архитектуры хранения и обработки данных, включая экосистему Hadoop;
  • Документировать решения и формировать базы знаний.

требования

  • Высшее образование;
  • Опыт разработки ETL/ELT-процессов: реализации, оптимизации и мониторинга;
  • Уверенное владение Python, включая библиотеки для работы с данными;
  • Практический опыт распределенных вычислений с Apache Spark (PySpark/Scala) или Apache Flink;
  • Глубокое понимание SQL и опыт работы с реляционными СУБД, включая PostgreSQL и MySQL;
  • Знание Apache Airflow: создание DAG, настройка сенсоров и операторов;
  • Навыки администрирования Linux: развертывание, мониторинг и устранение неполадок;
  • Будет плюсом базовое знание Scala или готовность к изучению, опыт с Hadoop (HDFS, YARN, Hive), знание облачных платформ (AWS S3/Glue, GCP BigQuery, Azure Data Factory), навыки автоматизации (Ansible, Terraform), опыт работы с потоковыми данными (Kafka, Debezium).

условия

  • Гибридный формат в Москве, улица Поклонная, 3;
  • Ежегодный пересмотр зарплаты и годовая премия;
  • Расширенный ДМС и льготное страхование для семьи;
  • Система обучения для профессионального и карьерного развития;
  • Выгодная ипотека для сотрудников;
  • Подписка Прайм с возможностью совместного использования с тремя близкими;
  • Вознаграждение за рекомендацию друзей в команду Сбера;
  • Корпоративная пенсионная программа.

Если просят выйти из iCloud, прислать код из SMS, запустить или установить что-то, перевести деньги — не соглашайтесь: это мошенничество.

Про зарплаты

Анонимные данные по зарплатам и грейдам.
Можно сверить вилку с рынком.

Посмотреть зарплаты

Если просят выйти из iCloud, прислать код из SMS, запустить или установить что-то, перевести деньги — не соглашайтесь: это мошенничество.