Data platform engineer

Компания «Retail Expert» - поставщик данных о ритейле, который берет на себя не только сбор, структурирование и подготовку информации к анализу, но и сам анализ. Мы специализируемся в IT разработках и продаже аналитики, исследований и консалтинга для ТОПов FMCG уже более 10 лет. Наша миссия — обеспечить нашим клиентам максимально точное определение настоящего и планирование их будущего. Наши эксперты всегда идут в ногу со временем и используют в своей работе передовые технологии, чтобы обеспечить сервис высокого уровня быстро, качественно и эффективно. В данный момент, в рамках плановой трансформации процессов и поддержки текущих бизнес-задач, мы находимся в поисках Data Platform Engineer,

• Проектирование и реализация инкрементальной загрузки и трансформации больших объемов данных с использованием PySpark.
• Создание схем таблиц в ClickHouse для витрин, кубов и отчетности Power BI.
• Настройка движков MergeTree, партиционирования, materialized views и оптимизация производительности запросов.
• Развитие слоя хранения с нуля (Raw → Staging → Marts) на базе S3-совместимого хранилища с использованием форматов Parquet и Apache Iceberg.
• Перенос логики и данных из legacy-систем (MSSQL, хранимые процедуры) в новую целевую архитектуру.
• Работа с текущим стеком на Python/Polars (хеширование, дробление файлов), рефакторинг и повышение отказоустойчивости.
• Разработка и поддержка DAG-ов в Apache Airflow для управления всеми процессами обработки данных.
• Самостоятельный поиск узких мест в текущих решениях, предложение и реализация улучшений без ожидания отдельной постановки задачи.

• Python (продвинутый): pandas, Polars, PySpark, FastAPI (написание пайпланов как код)
• SQL / MSSQL / PG - проектирование БД, оптимизация запросов
• Apache Airflow - разработка и поддержка DAG-ов
• PySpark - трансформация и агрегация данных
• Data Lake / Lakehouse: S3, Parquet, Iceberg
• Docker - контейнеризация, деплой и оркестрация сервисов
• ClickHouse — именно проектирование схем, не только SELECT
• Pandas, Polars
• Будет плюсом: опыт с dbt, Great Expectations, Trino, опыт работы с LLM в разработке; Работа с продакшн-данными

• Возможность работать с реальной задачей — построить Lakehouse и схемы ClickHouse практически с нуля, а не поддерживать чужое
• Офис на м. Бутырская
• Официальное трудоустройство
• Конкурентную зарплату по итогам собеседования