Big data engineer

Описания нет

• Проектировать единую модель данных рекламной платформы вместе с продуктом и аналитиками, с учетом роста и развития рекламы в Lamoda
• Строить внешнюю отчетность для рекламодателей: проектировать витрины данных в ClickHouse и расчет метрик эффективности рекламных кампаний в NRT и batch режимах
• Развивать инфраструктуру данных для ML задач и продуктовой аналитики рекламной платформы
• Переводить данные и регулярные расчеты рекламной платформы на Lakehouse архитектуру
• Выстраивать взаимодействие с продуктовыми командами рекламной платформы: согласовывать источники, форматы и контракты данных
• Обеспечивать качество данных в разных системах, проектировать Data Quality
• Оптимизировать действующие пайплайны на Spark - мониторить нагрузку на кластер и эффективность затрачиваемых ресурсов
• Анализировать и внедрять новые инструменты инжиниринга данных

• Уверенное владение Python/Scala/Java
• Глубокое знание Spark и Spark Streaming/Flink
• Понимание внутреннего устройства ClickHouse и умение оптимизировать запросы
• Опыт работы с Data Lake/Lakehouse стеком
• Опыт построения решений для near realtime аналитики
• Хорошее понимание SQL
• Понимание инфраструктуры Apache Kafka

• ДМС со стоматологией, телемедициной и программой поддержки ментального здоровья
• Страхование жизни
• Ежемесячные промокоды на Lamoda: два по 25%, два по 15% и в день рождения — 40%
• Программа привилегий и скидок от BestBenefits
• До 15 дней больничного в год оплачиваем в размере 100% от действующего оклада
• Бесплатные юридические консультации
• Дополнительные выходные в случае важных событий
• Яркие мероприятия и много неформального общения
• Опытный наставник для каждого новичка
• Обучение и участие во внешних конференциях
• Помогаем развивать личный бренд, выступать на конференциях и писать статьи
• Performance Review дважды в год, чтобы развиваться системно
• Проводим митапы и demo-дни для обмена знаниями
• Погружаем в fashion и каждый сезон знакомим с модными трендами