Инженер данных

Команда развивает собственное решение On-Shelf Availability (OSA) в крупнейшем офлайн-ритейлере Магнит. Строится система сквозного мониторинга доступности товаров для покупателей. Продукт активно развивается: интегрируется с действующими системами компании, масштабируется на тысячи магазинов, готовится расширение в смежные бизнес-процессы.

• Разрабатывать, внедрять и поддерживать конвейеры данных (Airflow)
• Развивать и поддерживать объектное хранилище данных (S3)
• Разрабатывать потоки для ETL-процессов между различными хранилищами (PySpark, JDBC)
• Писать код для обработки данных на Spark (PySpark, Spark SQL)
• Автоматизировать рутинные задачи на Python
• Взаимодействовать с владельцем продукта и командой разработки для понимания требований к данным и построения решений, поддерживающих бизнес-цели

• Опыт самостоятельной работы с распределёнными системами обработки данных (Spark/Hadoop) от 2 лет
• Уверенное знание Python и опыт написания структурированного, поддерживаемого кода
• Уверенное владение SQL
• Уверенные навыки работы со Spark: оптимизация приложений, умение читать план запроса
• Опыт разработки ETL/ELT-процессов
• Понимание схем проектирования хранилищ данных
• Опыт работы с реляционными СУБД (например, PostgreSQL, Teradata, MSSQL, Oracle)
• Понимание принципов работы распределённых высоконагруженных вычислений
• Умение документировать разработанные пайплайны и процессы так, чтобы ими могли пользоваться коллеги
• Будет плюсом опыт работы с Big Data или ML-продуктами, опыт работы с облачной инфраструктурой (Yandex Cloud, AWS, MS Azure), уверенная работа в Linux, понимание принципов работы ритейла, товародвижения и складских процессов

• Оформление в аккредитованную IT-компанию
• Возможность работать из офиса в Москве, Краснодаре или удалённо
• ДМС со стоматологией
• Технику для работы
• Корпоративные скидки и программы лояльности от наших партнёров