Data Lakehouse engineer корпоративного хранилища

Объединённая компания Wildberries и Russ развивает два направления: поддерживает и совершенствует существующее хранилище данных на Greenplum и строит новое на основе подхода Data Lakehouse.

• Проектировать и развивать платформу Data Lakehouse
• Разрабатывать ETL/ELT-пайплайны на базе Spark, DBT и Trino
• Работать с объектным хранилищем S3 и организовывать эффективную работу с данными в Data Lake
• Строить наблюдаемость платформы: метрики, дашборды и оповещения на базе Prometheus, VictoriaMetrics и Grafana
• Управлять инфраструктурой и конфигурацией платформы через GitOps, ArgoCD и Helm
• Взаимодействовать с продуктовой командой, понимать потребности пользователей платформы и развивать DLH как внутренний продукт

• Практический опыт построения платформ Data Lakehouse или крупных платформ данных
• Опыт проектирования DLH с нуля
• Глубокое понимание архитектуры Spark: модели выполнения, разделения данных, управления памятью, перемешивания данных и оптимизации запросов
• Понимание принципов работы форматов данных и таблиц в Data Lake, включая Iceberg и Parquet
• Опыт работы с Trino и понимание принципов распределённого выполнения запросов
• Опыт работы с Airflow и построения сложных потоков обработки данных, разработки пользовательских операторов, сенсоров, хуков и плагинов

• Обучение и развитие: языковые клубы, корпоративный университет и программы развития управленческих навыков
• Корпоративная ДМС со стоматологией, корпоративный спорт и консультации психолога
• Возможности аккредитованной IT-компании
• Сообщества по интересам: клубы спикеров, футбола, йоги и шахмат
• Гибкий подход к сочетанию карьеры и заботы о близких, проекты для детей сотрудников
• Скидки на обучение, страхование и покупки, партнёрские программы
• Бесплатное питание в офисе, корпоративная техника и портал для сотрудников