Главный разработчик ML / MLOps

MAGNIT TECH развивает ML-платформу прогнозирования спроса для федеральной розничной сети. Платформа обрабатывает терабайты данных в отдельных расчётах, а общий объём данных измеряется петабайтами. Расчётный контур построен на Spark и Kubernetes, оркестрация выполняется в Airflow, данные хранятся в S3 и Delta Lake.

• Интегрировать новые ML-алгоритмы и изменения от Data Science в промышленный контур прогнозирования;
• Развивать MLOps-фреймворк, процессы разработки, тестирования и поставки изменений между DEV, UAT и PROD;
• Развивать и сопровождать расчётные пайплайны и оркестрацию в Apache Airflow;
• Оптимизировать и масштабировать Spark-расчёты на больших объёмах данных;
• Работать с Kubernetes-инфраструктурой под Spark-приложения;
• Развивать мониторинг, логирование, Data Quality, lineage и инструменты диагностики расчётов;
• Развивать процессы версионирования, хранения и управления жизненным циклом данных в S3 и Delta Lake;
• Развивать CI/CD и внутренние инструменты ML-платформы;
• Проводить технические PoC и внедрять новые технологии для повышения производительности и надёжности платформы, включая Ray, Apache Comet и новые версии Spark.

• Уверенно знать Python и иметь опыт промышленной разработки;
• Иметь практический опыт работы с Apache Spark / PySpark;
• Иметь опыт разработки и сопровождения пайплайнов в Apache Airflow;
• Иметь практический опыт работы с Kubernetes и Docker;
• Уверенно знать SQL;
• Иметь опыт работы с большими объёмами данных;
• Иметь опыт работы с S3 или другими объектными хранилищами;
• Понимать принципы CI/CD и процессы поставки изменений;
• Понимать подходы к мониторингу, отказоустойчивости и эксплуатации production-систем;
• Будет плюсом опыт работы с Delta Lake или другими lakehouse-технологиями, опыт MLOps или эксплуатации промышленных ML-систем, опыт оптимизации и масштабирования Spark-приложений, опыт работы с Data Quality, metadata и lineage, опыт работы с облачной инфраструктурой.

• Оформление в аккредитованную ИТ-компанию;
• ДМС со стоматологией и льготными условиями для членов семьи;
• Техника для работы;
• График 5/2;
• Возможность работать удалённо из других городов РФ;
• Офисы в Москве, Краснодаре, Санкт-Петербурге и Иннополисе;
• Оплата обучения на курсах и участия в конференциях;
• Возможность проводить и посещать митапы и хакатоны;
• Корпоративные скидки PRIMEZONE и программы лояльности;
• Корпоративная библиотека курсов;
• Реферальная программа.