Инженер данных

Команда развивает внутреннюю платформу данных, которая объединяет информацию из множества источников, формирует единые профили пользователей, рассчитывает метрики и модели поведения, а также обеспечивает персонализацию в продукте и управление рекламой.

• Повысить эффективность пайплайнов для расчета признаков на основе пакетной обработки данных;
• Создать эффективный пайплайн для расчёта признаков в реальном времени на основе Kafka-топиков;
• Проектировать и разрабатывать сервисы, обрабатывающие миллиарды событий пользователей;
• Решать сложные инженерные задачи по расчету метрик и построению витрин данных;
• Работать с потоками данных и интеграциями между платформой и другими системами компании;
• Влиять на архитектурные решения и качество кода;
• Взаимодействовать с аналитиками, продактами и инженерами других направлений.

• Опыт работы с высоконагруженными системами;
• Опыт проектирования архитектуры данных или платформенного кода;
• Опыт работы с Kafka, ClickHouse или другими системами потоковой и аналитической обработки данных;
• Глубокое понимание принципов работы Spark;
• Владение одним из языков программирования (например, Python или Scala);
• Самостоятельность и проактивность в поиске решений;
• Желание разбираться в бизнес-логике и создавать продукт;
• Будет плюсом опыт работы с Airflow, опыт анализа данных с использованием SQL, знание инструментов мониторинга и контроля качества данных (Data Quality, Data Contracts), опыт построения Data Lineage и работы с Data Catalog, понимание подходов к персонализации, сегментации или real-time аналитике, понимание принципов работы S3 хранилища.

• Условий в вакансии нет