Data engineer

«Умная Логистика» — ведущая SaaS-экосистема для управления цепочками поставок и грузоперевозками в РФ. Нашей платформой ежедневно пользуются тысячи грузовладельцев и транспортных компаний, чтобы распределять заказы, отслеживать грузы в пути, рассчитывать оптимальные ставки и оформлять электронные документы.

• Развитие DWH и Data Lake: Участие в проектировании и наполнении аналитических слоев данных на базе S3, PostgreSQL и ClickHouse.
• Разработка пайплайнов обработки данных: Написание и поддержка ETL/ELT-пайплайнов с использованием Apache Spark (PySpark) и Python.
• Оркестрация процессов: Создание, оптимизация и мониторинг регулярных DAG'ов в Apache Airflow.
• Подготовка витрин для BI: Проектирование и поставка агрегированных данных под задачи продуктовой и бизнес-аналитики в Apache Superset.
• Интеграция источников: Сбор данных из микросервисов, очередей сообщений и внешних API (телематика, скоринг контрагентов, картографические сервисы).
• Контроль качества и оптимизация: Валидация входящих данных, мониторинг выполнения пайплайнов, профилирование и ускорение аналитических запросов в ClickHouse и PostgreSQL.

• Коммерческий опыт работы в роли Data Engineer или DWH-разработчика от 1.5 лет.
• Уверенное владение SQL: Сложные агрегаты, оконные функции, CTE, оптимизация и чтение планов выполнения (EXPLAIN).
• Опыт работы с Apache Airflow: Уверенная разработка DAG'ов, работа с кастомными и стандартными операторами, понимание принципов идемпотентности и бэкфилов.
• PostgreSQL (реляционное моделирование, индексы, транзакции);
• ClickHouse (семейство движков MergeTree, специфика колоночного хранения);
• S3-совместимые хранилища (организация структуры каталогов, работа с форматами Parquet/ORC).
• Уверенный Python: Написание чистого, структурированного кода для задач обработки данных.
• Базовое понимание специфики подготовки данных для BI-инструментов (в частности, для Apache Superset).
• Навыки работы с Git, Docker и Linux-окружением.
• Будет плюсом: Опыт работы с брокерами сообщений (Apache Kafka / RabbitMQ); Опыт работы с dbt (data build tool) или инструментами валидации данных (Great Expectations, Pandera); Опыт настройки подключений, дашбордов или семантического слоя в Apache Superset; Понимание логистического или B2B SaaS-домена

• Участие в развитии современной платформы данных без устаревшего легаси в связке с сильной командой.
• Полностью официальное трудоустройство по ТК РФ, белая заработная плата.
• Полная удаленка из любой точки РФ или работа в комфортном офисе.
• Производительный рабочий ноутбук и все необходимые доступы.
• Компенсация профильных курсов, профильной литературы и участия в конференциях.
• Минимум бюрократии, открытость к инженерным инициативам и доверие к процессам.