data engineer для платформы развития команд

Платформа решает задачу формирования и управления ИТ-командами. Профили сотрудников формируются и дополняются с помощью интерпретации цифровых следов, а для каждого участника команды создаются рекомендации по траектории развития.

• Проектировать и разрабатывать ETL/ELT-пайплайны;
• Строить и поддерживать DWH и Data Lake;
• Обеспечивать качество и доступность данных;
• Оптимизировать производительность обработки данных;
• Взаимодействовать с дата-аналитиками и дата-сайентистами.

• Высшее образование;
• Опыт работы в роли data engineer от 4 лет;
• Уверенное знание Python;
• Продвинутый SQL, включая оконные функции, CTE и оптимизацию планов запросов;
• Опыт работы с Apache Airflow, Dagster или Prefect, DAG-подходом, идемпотентностью задач и backfill-стратегиями;
• Опыт работы с Apache Spark, PySpark или Spark SQL, Hadoop/HDFS, партиционированием и распределёнными вычислениями;
• Опыт работы с Kafka, Kafka Streams, Apache Flink, Spark Structured Streaming, Docker, Kubernetes, CI/CD и Git для продуктивных пайплайнов;
• Опыт использования LLM для генерации и рефакторинга ETL-кода и автогенерации тестов для пайплайнов;
• Опыт описания схем данных и контрактов пайплайнов в виде спецификаций: dbt-контрактов, JSON Schema или Data Contracts.

• Офис рядом с метро Кутузовская, бизнес-центр Poklonka Place;
• Ежегодный пересмотр зарплаты и годовая премия;
• Корпоративный спортзал и зоны отдыха;
• Подписка Прайм с возможностью совместного использования с тремя близкими;
• Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития;
• Дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ;
• Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа;
• Вознаграждение за рекомендацию друзей в команду Сбера.