Инженер данных

Объединённая компания Wildberries и Russ является международной технологической компанией, образованной в результате слияния IT-компании Wildberries и оператора наружной рекламы Russ. Портал продавцов представляет собой юнит, включающий продукты для продавцов, такие как личный кабинет, загрузка и хранение контента, поиск, каталог, биллинг, оформление товара, доставка и аналитика. Направление Data Engineering занимается построением озера данных для принятия бизнес-решений.

• Разрабатывать, сопровождать и оптимизировать ETL-пайплайны на Apache Spark;
• Разрабатывать интеграции со стриминговыми источниками данных (Kafka);
• Реагировать на инциденты и осуществлять поддержку существующих пайплайнов;
• Собирать, анализировать и выявлять требования, взаимодействовать с заказчиками;
• Проектировать и разрабатывать витрины данных для аналитики;
• Участвовать в разработке и развитии внутреннего фреймворка;
• Участвовать в code review.

• Опыт работы от 5 лет;
• Уверенный опыт программирования на Python от 2-х лет;
• Опыт работы с Hadoop (Spark, YARN, HDFS, Hive), Apache Airflow или Dagster, а также Spark (PySpark);
• Опыт оптимизации SQL запросов (индексы, партицирование, шардирование);
• Опыт работы с MPP СУБД (ClickHouse, GreenPlum, Vertica);
• Опыт работы со стриминговыми данными (Kafka);
• Будет плюсом опыт работы в DBT, понимание концепций моделирования хранилищ данных, ведение процесса покрытия данных контролем качества (DQ).

• Обучение и развитие: языковые клубы, корпоративный университет, программы развития управленческих навыков;
• Корпоративный пакет ДМС со стоматологией, корпоративный спорт, консультации психолога;
• Сообщества по интересам: клуб спикеров, футбол, йога, шахматы;
• Программы поддержки семей и гибкий подход к работе;
• Скидки и партнерские программы на обучение, страхование и покупки;
• Бесплатное питание в офисе, современная корпоративная техника и портал для сотрудников.