Если просят войти через iCloud, отправить коды из SMS, запустить код, что-то установить, перевести деньги или сделать что угодно, связанное с деньгами, не соглашайтесь: это признаки мошенничества.
дата аналитик
генерация резюме
сопроводительное письмо
описание
Описания нет
задачи
- Разрабатывать ETL на Apache Spark (Java стек);
- Разрабатывать ETL-пайплайны (Apache Spark, HDFS, Hive, Greenplum, ClickHouse);
- Разрабатывать витрины данных в Greenplum и ClickHouse;
- Оркестровать ETL-процессы;
- Оптимизировать ETL-процессы (батчинг, ретраи, SLA-контроль);
- Взаимодействовать с BI-разработчиками и DevOps для своевременной доставки данных в Superset.
требования
- Знание Java или Scala для работы со Spark;
- Опыт работы с Apache Spark от 1 года;
- Опыт работы с СУБД (Greenplum, ClickHouse, PostgreSQL) от 2 лет;
- Опыт работы с Hadoop (HDFS, Hive);
- Опыт проектирования и разработки потоков данных, алгоритмов загрузки и обработки данных;
- Опыт оптимизации ETL-пайплайнов и SQL кода;
- Продвинутые знания SQL;
- Понимание принципов работы распределенных систем;
- Готовность осваивать Java для использования Spark;
- Будет плюсом опыт разработки на Java, опыт работы в проектах, связанных с миграцией данных или BI-платформ, опыт работы в банковской сфере, понимание бизнес домена, опыт работы в крупных проектах с высокими требованиями к надежности.
условия
- Долгосрочный проект;
- Оформление по ТК РФ или ГПХ.
навыки