.svg)
Про зарплаты
Анонимные данные по зарплатам и грейдам.
Можно сверить вилку с рынком.
Описания нет
4 авг
data engineer
ориентир по рынку
вакансия
зп не указана
в среднем
293 851 ₽
мэтч
Загрузи резюме, чтобы видеть мэтчи с вакансией
подготовьтесь к отклику
ai-инструментыЧтобы адаптировать резюме под вакансию или составить сопроводительное письмо, загрузите резюме
описание
задачи
- Разрабатывать ETL-пайплайны на Apache Spark и Java с использованием HDFS, Parquet, ClickHouse, Hive и Greenplum;
- Разрабатывать витрины данных в Greenplum и ClickHouse;
- Оркестрировать ETL-процессы;
- Оптимизировать ETL-процессы, включая пакетную обработку, повторные попытки и контроль SLA;
- Взаимодействовать с BI-разработчиками и DevOps для своевременной доставки данных в Superset.
требования
- Глубокий экспертный опыт работы с Apache Spark от 4–5 лет, включая оптимизацию заданий, работу с широкими и узкими зависимостями, настройку памяти и операций перемешивания данных;
- Опыт работы с ClickHouse;
- Опыт работы с Hadoop, HDFS и Hive;
- Опыт проектирования и разработки потоков данных, алгоритмов загрузки и обработки данных;
- Опыт оптимизации ETL-пайплайнов и SQL-кода;
- Продвинутые знания SQL;
- Готовность осваивать Java для использования Spark.
условия
- Работа в аккредитованной IT-компании;
- Гибкое начало рабочего дня с 08:00 до 11:00 по московскому времени;
- ДМС со стоматологией, телемедициной и полисом ВЗР;
- Возможность взять больничный без больничного — 7 дней в году;
- Поэтапная адаптация с участием HR и линейного руководителя;
- Ревью результатов, обсуждение карьерных целей и индивидуальный план развития;
- IT-конференции, курсы, тренинги и сертификации за счёт компании;
- Корпоративный английский;
- Помощь в развитии личного бренда, подготовке выступлений и написании статей;
- Внутренние митапы и онлайн- и офлайн-активности.
навыки
Если просят выйти из iCloud, прислать код из SMS, запустить или установить что-то, перевести деньги — не соглашайтесь: это мошенничество.
