инженер данных DWH

Команда развивает DWH, проводит данные через весь контур — от raw-слоя до core, агрегатов и витрин, чтобы аналитические и смежные команды получали качественные и доступные данные. Хранилище работает с большими объёмами данных и сложными зависимостями, а роль предполагает глубокую работу с его архитектурой и производительностью.

• Проектировать и развивать слои DWH: проводить новые источники от сырых данных до core-слоя, создавать агрегаты, витрины и датасеты для аналитиков и смежных команд;
• Оптимизировать сложные SQL-запросы, анализировать планы выполнения, находить узкие места и повышать производительность расчётов;
• Автоматизировать процессы обработки данных и развивать пайплайны в Apache Airflow, повышая их стабильность и надёжность;
• Проектировать структуру данных в ClickHouse и оптимизировать хранение с учётом объёмов, паттернов чтения и дальнейшего использования данных;
• Рефакторить и оптимизировать существующие агрегаты и пайплайны, предотвращать деградацию производительности и регрессии;
• Работать с S3-совместимыми объектными хранилищами и external tables при построении интеграционных и архитектурных решений;
• Внедрять проверки Data Quality, контролировать историчность данных и отслеживать влияние изменений;
• Участвовать в code review и проектировании DWH-решений, помогать поддерживать единые инженерные практики внутри команды;
• Принимать технические решения и учитывать влияние развития хранилища на существующие процессы и потребителей данных;
• Предлагать улучшения с учётом качества и устойчивости решений.

• Глубокий практический опыт работы с ClickHouse, включая репликацию, шардинг, partitioning, сортировку и настройки хранения и производительности;
• Уверенное владение SQL, умение писать и оптимизировать сложные запросы, читать планы выполнения и оценивать влияние изменений на downstream-процессы;
• Опыт проектирования и развития DWH, работы со слоями хранилища, данными от raw до core, агрегатами, витринами и датасетами;
• Опыт работы с Greenplum или другой MPP / распределённой системой хранения;
• Практический опыт работы с S3-совместимыми объектными хранилищами и понимание их использования в архитектуре DWH;
• Опыт работы с Apache Airflow и понимание принципов оркестрации и автоматизации процессов обработки данных;
• Умение работать с качеством данных, внедрять проверки Data Quality, контролировать историчность, отслеживать регрессии и оценивать последствия изменений;
• Понимание принципов проектирования производительных и надёжных пайплайнов и умение находить причины деградации при росте объёмов данных;
• Самостоятельность, умение принимать технические решения и аргументированно предлагать улучшения.

• Медицинское страхование и страхование жизни с первого дня работы;
• Расширенный пакет ДМС со стоматологией;
• Психологическая помощь и программы от партнёров PSY Pro и Ясно;
• Обучение, курсы и повышение квалификации;
• Корпоративные мероприятия, внутренние и спортивные активности;
• Поддержка семьи, конкурсы для детей, подарки первоклассникам и компенсация летнего отдыха;
• Прокачка английского и компенсация хобби;
• Выгодные скидки и помощь при трудных жизненных обстоятельствах;
• Компенсация и социальный пакет.