описание
Мы развиваем аналитическую платформу и хранилище данных для сервисов аналитики e-commerce. Ищем Data Engineer, который поможет нам развивать DWH, проектировать высоконагруженные ETL/ELT-процессы и строить витрины данных для BI и внутренних сервисов.
задачи
- Проектировать и развивать слои DWH (Raw, Staging, Data Marts).
- Разрабатывать и поддерживать распределенные пакетные и инкрементальные пайплайны обработки данных на Apache Spark.
- Организовывать репликацию и синхронизацию данных между источниками (PostgreSQL, ClickHouse, S3).
- Писать и оптимизировать сложные SQL-запросы, хранимые процедуры и витрины данных.
- Настраивать мониторинг пайплайнов, отслеживать качество и актуальность данных (Data Quality).
- Взаимодействовать с BI-разработчиками и аналитиками.
требования
- практический опыт разработки пайплайнов обработки больших объемов данных (PySpark / Spark SQL), понимание архитектуры Spark (RDD, DataFrame, DAG, стейдж/таски) и методов оптимизации (shuffle, partitioning, caching).
- уверенное владение DDL/DML, оконными функциями, понимание планов выполнения запросов и методов оптимизации.
- опыт работы с PostgreSQL и ClickHouse (понимание движков таблиц, партиционирования, агрегаций).
- опыт работы с Apache Airflow (написание DAG, custom operators, управление зависимостями).
- уверенное владение языкoм для разработки пайплайнов, работы с API и объектными хранилищами.
- базовые навыки работы с Linux, Git, Docker, Bash.
- Будет плюсом: Опыт работы со стеком dbt или Trino / Presto; Опыт работы с S3 / Yandex Object Storage; Понимание архитектуры и проектирования аналитических витрин для Power BI / Superset
условия
- Оформление по ТК РФ / ИП / СЗ.
- Полностью удаленный формат работы с гибким началом дня.
- Адекватные процессы без бюрократии, современный стек инструментов.
- Профессиональный рост и сложные инженерные задачи.
