Data Engineer

Описания нет

• Анализировать источники и метаданные хранилищ Hadoop и Greenplum для формирования витрин данных;
• Реализовывать и сопровождать витрины данных с использованием технологий Spark/Hadoop и Greenplum;
• Создавать и поддерживать ETL-процессы загрузки данных из внутренних и внешних систем, разрабатывая инкрементальные сценарии;
• Организовывать проверку качества данных и метрик;
• Проводить оптимизацию SQL-запросов и Spark-процессов, выбирая наиболее эффективные способы соединения таблиц и схемы хранения данных;
• Активно взаимодействовать с командой разработчиков и аналитиками в рамках Agile-процессов;
• Применять современные инструменты анализа данных и машинного обучения для повышения эффективности своей работы.

• Уверенное владение Python и Spark SQL;
• Опыт работы с Git;
• Знание SQL, глубокое понимание всех видов JOIN, группировок, агрегатных и оконных функций;
• Опыт оптимизации запросов, понимание планов исполнения и методов организации индексов и ключей;
• Опыт работы с хранилищами данных, процессами ETL/ELT и методами инкрементальной загрузки данных;
• Навык работы с Jira для управления релизами и организацией рабочего процесса.

• Комфортный современный офис рядом с метро Кутузовская;
• Ежегодный пересмотр зарплаты, квартальная и годовая премия;
• Корпоративный спортзал и зоны отдыха;
• Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития;
• Программа адаптации и помощь руководителя на старте;
• Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа;
• Гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки Центрального банка;
• Подписка Прайм с возможностью совместного использования на трёх близких;
• Вознаграждение за рекомендацию друзей в команду Сбера.