Если просят войти через iCloud, отправить коды из SMS, запустить код, что-то установить, перевести деньги или сделать что угодно, связанное с деньгами, не соглашайтесь: это признаки мошенничества.
Инженер данных
генерация резюме
сопроводительное письмо
описание
Описания нет
задачи
- Создавать и поддерживать ETL-пайплайны на Spark (DataFrame API, Scala), строить процессы обработки потоковых сообщений через Kafka;
- Работать в полном стеке Big Data: экосистема Hadoop (включая Arenadata Hadoop), Hive и оркестрация задач в Airflow (YAML-конфигурации);
- Заниматься оптимизацией: рефакторить код, ускорять SQL-запросы и Spark-приложения, находить и устранять уязвимости производительности;
- Обеспечивать качество и надёжность решений: проводить code review, писать скрипты очистки и исправления данных, быстро решать инциденты;
- Взаимодействовать с командой: готовить релизные артефакты, подробно документировать код и ставить задачи инженерам сопровождения.
требования
- Уверенный опыт промышленной разработки на SQL, Spark, Hadoop и Hive;
- Практическая работа с различными СУБД (Oracle, PostgreSQL, MySQL и др.);
- Понимание архитектуры DWH / Data Lake и процессов CI/CD;
- Уверенное владение Git;
- Ответственность и умение быстро вникать в бизнес-потребности заказчика;
- Будет плюсом глубокое знание внутренних механизмов Spark, опыт работы именно с Arenadata Hadoop, навыки проведения ПСИ и решения сложных дефектов в данных, уверенное владение Excel для аналитики.
условия
- Условий в вакансии нет
навыки