Data engineer

грейд
senior
страна
Россия
опубликована
вчера

описание

Мы развиваем корпоративную платформу данных и готовимся к масштабному технологическому обновлению - переходу на современную Lakehouse-архитектуру. Ищем опытного Data Engineer, который хочет не только разрабатывать надёжные решения для обработки данных, но и влиять на архитектуру платформы, инженерные стандарты и подходы к разработке. Впереди - миграция на новый технологический стек, развитие процессов Data Governance, повышение качества инженерных решений и совершенствование взаимодействия с командами-потребителями данных.

задачи

  • разработка, оптимизация и сопровождение надёжных ETL/ELT-пайплайнов для пакетной и потоковой обработки данных
  • участие в проектировании и развитии архитектуры корпоративной платформы данных, включая переход на Lakehouse с использованием S3, Trino, Apache Iceberg и Apache Spark
  • разработка технических решений для миграции существующих процессов обработки и хранения данных на новый технологический стек
  • развитие процессов Data Governance: управление жизненным циклом данных, контроль качества, документирование, прозрачность происхождения данных (Data Lineage)
  • участие в развитии инженерной экспертизы команды: обмен знаниями, обсуждение архитектурных решений, формирование единых технических подходов
  • улучшение процессов взаимодействия со смежными подразделениями, участие в согласовании требований, технических решений и SLA.

требования

  • опыт работы с реляционными и аналитическими СУБД, понимание принципов хранения, партиционирования и оптимизации данных
  • уверенное владение Python или другим языком программирования, применяемым для обработки данных
  • понимание принципов построения DWH, Data Lake и современных архитектур платформ данных
  • опыт использования Git, CI/CD, code review и автоматизированного тестирования
  • умение проектировать технические решения, оценивать их ограничения и аргументированно выбирать подходы к реализации
  • самостоятельность в решении сложных инженерных задач, готовность брать ответственность за результат и взаимодействовать со смежными командами.
  • Будет плюсом: практический опыт работы с Lakehouse-технологиями: Apache Iceberg, Trino, Spark, S3-совместимые объектные хранилища; участие в миграции хранилищ данных или модернизации архитектуры дата-платформ; опыт работы с Docker, Kubernetes и инфраструктурой распределённых систем; практический опыт внедрения Data Governance, Data Quality, Data Catalog и Data Lineage; опыт формирования инженерных стандартов, проведения технических ревью и улучшения процессов разработки; опыт наставничества, обмена знаниями и развития инженерных компетенций коллег; инструментальное владение AI для анализа, генерации и автоматизации

условия

  • комфортный современный офис рядом с м.Кожуховская (г Москва, проезд 2-й Южнопортовый, 12Ак1стр1)
  • ежегодный пересмотр зарплаты и годовая премия
  • более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
  • расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
  • гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
  • подписка Прайм с возможностью совместного использования на трёх близких
  • вознаграждение за рекомендацию друзей в команду Сбера.

навыки

компания

Крупнейший российский банк и экосистема. Предоставляет банковские услуги: кредиты, вклады, карты, ипотека. Развивает сервисы: доставка, здоровье, развлечения, облачные технологии и ИИ. Удобно для финансов и повседневных задач.

Подробнее о компании →

похожие вакансии

статьи для разработчиков