Если просят войти через iCloud, отправить коды из SMS, запустить код, что-то установить, перевести деньги или сделать что угодно, связанное с деньгами, не соглашайтесь: это признаки мошенничества.
Data Engineer
генерация резюме
сопроводительное письмо
описание
Описания нет
задачи
- Разрабатывать и оптимизировать Spark-пайплайны для обработки данных в масштабе 200+ млн строк ежедневно;
- Настраивать хранение и доступность данных в DWH;
- Автоматизировать интеграцию данных: продажи, акции, цены, остатки, погода, календари;
- Работать в связке с Data Science-командой, обеспечивая стабильный и качественный поток данных для моделей;
- Участвовать в развитии платформы прогнозирования спроса, делая её более надёжной, масштабируемой и удобной.
требования
- Опыт работы с PySpark 2, 3 и Spark SQL;
- Знание Hadoop, Hive, Trino, S3, ClickHouse, Postgres и Greenplum;
- Уверенное владение Airflow;
- Программирование на Python 3;
- Опыт работы с Docker, YARN и Kubernetes;
- Навыки написания тестов с помощью pytest.
условия
- Условия обсуждаются индивидуально.
навыки