Если просят войти через iCloud, отправить коды из SMS, запустить код, что-то установить, перевести деньги или сделать что угодно, связанное с деньгами, не соглашайтесь: это признаки мошенничества.

сегодня

Инженер данных

выше рынка на 11,9%
вакансия 334 000 ₽
в среднем 298 357 ₽
мэтч
Добавь резюме в профиле, чтобы видеть % мэтча с вакансией

генерация резюме

Добавьте резюме в профиль, чтобы сгенерировать временное CV под эту вакансию

сопроводительное письмо

Добавь резюме в профиле, а нейросеть определит твою категорию. Затем ты сможешь генерировать сопроводительные письма для вакансий этой категории

описание

Описания нет

задачи

  • Создавать и поддерживать ETL-пайплайны на Spark (DataFrame API, Scala), строить процессы обработки потоковых сообщений через Kafka;
  • Работать в полном стеке Big Data: экосистема Hadoop (включая Arenadata Hadoop), Hive и оркестрация задач в Airflow (YAML-конфигурации);
  • Заниматься оптимизацией: рефакторить код, ускорять SQL-запросы и Spark-приложения, находить и устранять уязвимости производительности;
  • Обеспечивать качество и надёжность решений: проводить code review, писать скрипты очистки и исправления данных, быстро решать инциденты;
  • Взаимодействовать с командой: готовить релизные артефакты, подробно документировать код и ставить задачи инженерам сопровождения.

требования

  • Уверенный опыт промышленной разработки на SQL, Spark, Hadoop и Hive;
  • Практическая работа с различными СУБД (Oracle, PostgreSQL, MySQL и др.);
  • Понимание архитектуры DWH / Data Lake и процессов CI/CD;
  • Уверенное владение Git;
  • Ответственность и умение быстро вникать в бизнес-потребности заказчика;
  • Будет плюсом глубокое знание внутренних механизмов Spark, опыт работы именно с Arenadata Hadoop, навыки проведения ПСИ и решения сложных дефектов в данных, уверенное владение Excel для аналитики.

условия

  • Условий в вакансии нет

прозрачные зарплаты в IT

Анонимные данные по зарплатам и грейдам

Посмотреть
График динамики зарплат
Откликнуться Добавить в отклики

Если просят войти через iCloud, отправить коды из SMS, запустить код, что-то установить, перевести деньги или сделать что угодно, связанное с деньгами, не соглашайтесь: это признаки мошенничества.