разработчик платформы данных для высоконагруженных ETL

Сбер развивает платформу индустриализации ETL — «фабрику по производству пайплайнов», объединяющую Core на Scala/Spark, CI/CD и пользовательский интерфейс в единый Self-Service продукт. Платформа поддерживает критические ETL-процессы, необходимые для принятия управленческих решений и работы розничных сервисов.

• Спроектировать ядро платформы и построить универсальный ETL-фреймворк на Scala/Spark;
• Настроить промышленный CI/CD с автоматическим деплоем пайплайнов через Git, автотестированием, линтингом и загрузкой секретов из Vault;
• Принимать стратегические решения по целевому технологическому стеку и лидировать переход на него;
• Внедрять AI;
• Возглавить команду инженеров;
• Лидировать три направления разработки: UI, CI/CD и Core ETL;
• Выстроить стандарты Code Review.

• Высшее техническое образование;
• Опыт управления командой из 8–12 инженеров в направлениях Data, DevOps и UI;
• Уверенное владение SQL, Scala, Java, Python, Groovy, Bash и JavaScript;
• Опыт работы с Apache Spark, Apache Flink, Apache Iceberg, HDFS, YARN, Kubernetes, S3-совместимыми хранилищами, ClickHouse и PostgreSQL;
• Экспертное владение Jenkins Pipeline as Code на Groovy, включая организацию Shared Libraries и настройку многостадийных пайплайнов;
• Опыт построения отказоустойчивых и высоконагруженных ETL-платформ;
• Понимание микросервисной архитектуры;
• Базовое знание React;
• Опыт проектирования асинхронных систем с Celery и Redis;
• Экспертиза в AI и инновациях: LangChain/LlamaIndex, RAG, интеграция LLM для генерации кода и обнаружения аномалий, AI-подсказки в UI.

• Ежегодный пересмотр зарплаты и годовая премия;
• Расширенный ДМС и льготное страхование для семьи;
• Система обучения для профессионального и карьерного развития;
• Выгодная ипотека для сотрудников;
• Подписка Прайм с возможностью совместного использования с тремя близкими;
• Вознаграждение за рекомендации сотрудников;
• Корпоративная пенсионная программа.