Если просят войти через iCloud, отправить коды из SMS, запустить код, что-то установить, перевести деньги или сделать что угодно, связанное с деньгами, не соглашайтесь: это признаки мошенничества.

сегодня

Data Engineer

выше рынка на 25,9%
вакансия 319 384 ₽
в среднем 253 679 ₽
мэтч
Добавь резюме в профиле, чтобы видеть % мэтча с вакансией

генерация резюме

Добавь резюме в профиль, чтобы сгенерировать временное CV под эту вакансию

сопроводительное письмо

Добавь резюме в профиле, а нейросеть определит твою категорию. Затем ты сможешь генерировать сопроводительные письма для вакансий этой категории

описание

Описания нет

задачи

  • Разрабатывать и оптимизировать Spark-пайплайны для обработки данных в масштабе 200+ млн строк ежедневно;
  • Настраивать хранение и доступность данных в DWH;
  • Автоматизировать интеграцию данных: продажи, акции, цены, остатки, погода, календари;
  • Работать в связке с Data Science-командой, обеспечивая стабильный и качественный поток данных для моделей;
  • Участвовать в развитии платформы прогнозирования спроса, делая её более надёжной, масштабируемой и удобной.

требования

  • Опыт работы с PySpark 2, 3 и Spark SQL;
  • Знание Hadoop, Hive, Trino, S3, ClickHouse, Postgres и Greenplum;
  • Уверенное владение Airflow;
  • Программирование на Python 3;
  • Опыт работы с Docker, YARN и Kubernetes;
  • Навыки написания тестов с помощью pytest.

условия

  • Условия обсуждаются индивидуально.

прозрачные зарплаты в IT

Анонимные данные по зарплатам и грейдам

Посмотреть
График динамики зарплат
Откликнуться Добавить в отклики

Если просят войти через iCloud, отправить коды из SMS, запустить код, что-то установить, перевести деньги или сделать что угодно, связанное с деньгами, не соглашайтесь: это признаки мошенничества.