Если просят войти через iCloud, отправить коды из SMS, запустить код, что-то установить, перевести деньги или сделать что угодно, связанное с деньгами, не соглашайтесь: это признаки мошенничества.
data engineer
генерация резюме
сопроводительное письмо
описание
Подготовка и визуализация данных для финансового департамента.
задачи
- Разрабатывать ETL на Apache Spark (Java стек);
- Разрабатывать ETL-пайплайны (Apache Spark, HDFS (parquets), Hive, Greenplum, ClickHouse);
- Разрабатывать витрины данных в Greenplum и ClickHouse;
- Оркестрировать ETL-процессы;
- Оптимизировать ETL-процессы (батчинг, ретраи, SLA-контроль);
- Взаимодействовать с BI-разработчиками и DevOps для своевременной доставки данных в Superset.
требования
- Опыт работы с Apache Spark (Java) от 1 года;
- Опыт работы с СУБД (Greenplum, ClickHouse, PostgreSQL) от 2 лет;
- Опыт работы с Hadoop (HDFS, Hive);
- Опыт проектирования и разработки потоков данных, алгоритмов загрузки и обработки данных;
- Опыт оптимизации ETL-пайплайнов и SQL кода;
- Продвинутые знания SQL;
- Понимание принципов работы распределенных систем;
- Готовность осваивать Java для использования Spark.
условия
- Оплата поквартально;
- Продолжительность год+.
навыки