Data Engineer

Объединённая компания Wildberries и Russ является международной технологической организацией, образованной в результате слияния IT-компании Wildberries и оператора наружной рекламы Russ. Команда платформы данных в направлении Trust & Safety занимается созданием данных и признаков для моделей машинного обучения, используемых в антифроде, модерации контента и других продуктах. Инфраструктура включает потоковую платформу на базе Databus/Kafka, Flink, Redis/Cassandra, а также озеро данных на S3/Apache Iceberg с доступом через Trino.

• Проектировать и разрабатывать потоковые процессы для чтения событий из Databus/Kafka, расчёта онлайн-признаков и записи в Redis и Cassandra;
• Проектировать и разрабатывать пакетные процессы для чтения данных из S3/Iceberg через Trino, расчёта офлайн-признаков и записи результатов в S3/Iceberg или ClickHouse;
• Обеспечивать согласованность признаков между обучением и продакшеном через единую логику расчёта и контракты;
• Настраивать расписания, пересчёты и бэки для соблюдения SLA по свежести данных;
• Контролировать качество данных, внедрять проверки, мониторить аномалии и устранять инциденты;
• Сотрудничать с DS и аналитиками при разработке новых признаков и переводе экспериментальных скриптов в стабильные пайплайны.

• Опыт работы в роли Data Engineer или Backend+Data от 5 лет;
• Уверенное владение Kafka-подобными очередями, включая работу с продюсерами, консьюмерами, партиционированием и обработкой ошибок;
• Практический опыт работы со streaming-движками, предпочтительно Flink или Spark Structured Streaming;
• Опыт работы с Redis или Cassandra в качестве хранилищ данных;
• Опыт работы с S3-хранилищами, табличными форматами Iceberg/Delta/Hudi и SQL-движками Trino/Presto/Spark SQL;
• Отличное знание SQL и опыт работы с ClickHouse;
• Уверенное владение Python для разработки data-скриптов и сервисной логики;
• Опыт настройки и сопровождения пайплайнов в Airflow;
• Понимание специфики ML-пайплайнов, включая train/serve skew, пересчёты признаков и влияние задержек событий.

• Корпоративный пакет ДМС со стоматологией, корпоративный спорт, консультации психолога;
• Обучение и развитие: языковые клубы, корпоративный университет, программы развития управленческих навыков;
• Доступ к сообществам по интересам: клуб спикеров, футбол, йога, шахматы;
• Скидки и партнерские программы на обучение, страхование и покупки;
• Бесплатное питание в офисе, современная корпоративная техника.