разработчик greenplum платформы данных

Команда MAGNIT TECH развивает внутреннюю Data-платформу «Магнита» — современное хранилище данных Data Lake. Она создаёт инструменты для интеграции данных, чтобы другие команды могли самостоятельно загружать их в Data Lake.

• Разрабатывать и развивать платформу batch- и CDC-инжеста данных в Data Lake;
• Проектировать платформенные компоненты и API для подключения источников, настраивать загрузки и управлять жизненным циклом данных;
• Развивать интеграции с Iceberg, Spark, Trino, Impala, Kafka, Kafka Connect и Debezium;
• Разрабатывать механизмы надёжности, отвечать за контроль качества и полноты данных, обрабатывать ошибки, повторные запуски и восстановление загрузок;
• Анализировать и оптимизировать производительность, масштабируемость и потребление ресурсов платформы;
• Подключаться к сопровождению потоков при сложных инцидентах.

• Коммерческий опыт разработки на Python от 2–3 лет;
• Умение писать поддерживаемый и тестируемый код;
• Уверенное знание SQL, принципов моделирования и хранения данных, особенностей распределённых вычислений;
• Опыт работы с Apache Airflow и Apache Spark;
• Понимание архитектуры и принципов эксплуатации распределённых систем.

• Трудоустройство в аккредитованную IT-компанию;
• ДМС со стоматологией и льготными условиями для членов семьи;
• Корпоративные скидки от компании и партнёров;
• Бесплатная подписка Магнит Премиум с повышенным кешбэком по программе лояльности М+;
• Обучение, конференции и митапы;
• Программа для руководителей Leadership club;
• IT-комьюнити для обмена практиками, поиска решений и развития от эксперта в стеке до лидера инициатив;
• Социально-психологическая поддержка от более 370 специалистов: юристов, психологов, врачей, финансовых и ЗОЖ-советников.