описание
Мы развиваем корпоративную платформу данных и готовимся к масштабному технологическому обновлению - переходу на современную Lakehouse-архитектуру. Ищем опытного Data Engineer, который хочет не только разрабатывать надёжные решения для обработки данных, но и влиять на архитектуру платформы, инженерные стандарты и подходы к разработке. Впереди - миграция на новый технологический стек, развитие процессов Data Governance, повышение качества инженерных решений и совершенствование взаимодействия с командами-потребителями данных.
задачи
- разработка, оптимизация и сопровождение надёжных ETL/ELT-пайплайнов для пакетной и потоковой обработки данных
- участие в проектировании и развитии архитектуры корпоративной платформы данных, включая переход на Lakehouse с использованием S3, Trino, Apache Iceberg и Apache Spark
- разработка технических решений для миграции существующих процессов обработки и хранения данных на новый технологический стек
- развитие процессов Data Governance: управление жизненным циклом данных, контроль качества, документирование, прозрачность происхождения данных (Data Lineage)
- участие в развитии инженерной экспертизы команды: обмен знаниями, обсуждение архитектурных решений, формирование единых технических подходов
- улучшение процессов взаимодействия со смежными подразделениями, участие в согласовании требований, технических решений и SLA.
требования
- опыт работы с реляционными и аналитическими СУБД, понимание принципов хранения, партиционирования и оптимизации данных
- уверенное владение Python или другим языком программирования, применяемым для обработки данных
- понимание принципов построения DWH, Data Lake и современных архитектур платформ данных
- опыт использования Git, CI/CD, code review и автоматизированного тестирования
- умение проектировать технические решения, оценивать их ограничения и аргументированно выбирать подходы к реализации
- самостоятельность в решении сложных инженерных задач, готовность брать ответственность за результат и взаимодействовать со смежными командами.
- Будет плюсом: практический опыт работы с Lakehouse-технологиями: Apache Iceberg, Trino, Spark, S3-совместимые объектные хранилища; участие в миграции хранилищ данных или модернизации архитектуры дата-платформ; опыт работы с Docker, Kubernetes и инфраструктурой распределённых систем; практический опыт внедрения Data Governance, Data Quality, Data Catalog и Data Lineage; опыт формирования инженерных стандартов, проведения технических ревью и улучшения процессов разработки; опыт наставничества, обмена знаниями и развития инженерных компетенций коллег; инструментальное владение AI для анализа, генерации и автоматизации
условия
- комфортный современный офис рядом с м.Кожуховская (г Москва, проезд 2-й Южнопортовый, 12Ак1стр1)
- ежегодный пересмотр зарплаты и годовая премия
- более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
- расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
- гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
- подписка Прайм с возможностью совместного использования на трёх близких
- вознаграждение за рекомендацию друзей в команду Сбера.
навыки
компания
Крупнейший российский банк и экосистема. Предоставляет банковские услуги: кредиты, вклады, карты, ипотека. Развивает сервисы: доставка, здоровье, развлечения, облачные технологии и ИИ. Удобно для финансов и повседневных задач.
Подробнее о компании →