data engineer
генерация резюме под вакансию
сопроводительное письмо
описание
Описания нет
задачи
- Разрабатывать ETL-пайплайны на Apache Spark и Java с использованием HDFS, Parquet, ClickHouse, Hive и Greenplum;
- Разрабатывать витрины данных в Greenplum и ClickHouse;
- Оркестрировать ETL-процессы;
- Оптимизировать ETL-процессы, включая пакетную обработку, повторные попытки и контроль SLA;
- Взаимодействовать с BI-разработчиками и DevOps для своевременной доставки данных в Superset.
требования
- Глубокий экспертный опыт работы с Apache Spark от 4–5 лет, включая оптимизацию заданий, работу с широкими и узкими зависимостями, настройку памяти и операций перемешивания данных;
- Опыт работы с ClickHouse;
- Опыт работы с Hadoop, HDFS и Hive;
- Опыт проектирования и разработки потоков данных, алгоритмов загрузки и обработки данных;
- Опыт оптимизации ETL-пайплайнов и SQL-кода;
- Продвинутые знания SQL;
- Готовность осваивать Java для использования Spark.
условия
- Работа в аккредитованной IT-компании;
- Гибкое начало рабочего дня с 08:00 до 11:00 по московскому времени;
- ДМС со стоматологией, телемедициной и полисом ВЗР;
- Возможность взять больничный без больничного — 7 дней в году;
- Поэтапная адаптация с участием HR и линейного руководителя;
- Ревью результатов, обсуждение карьерных целей и индивидуальный план развития;
- IT-конференции, курсы, тренинги и сертификации за счёт компании;
- Корпоративный английский;
- Помощь в развитии личного бренда, подготовке выступлений и написании статей;
- Внутренние митапы и онлайн- и офлайн-активности.
навыки
Если просят войти через iCloud, отправить коды из SMS, запустить код, что-то установить, перевести деньги или сделать что угодно, связанное с деньгами, не соглашайтесь: это признаки мошенничества.