data engineer

Описания нет

• Развивать и поддерживать хранилище данных на ClickHouse;
• Проектировать и оптимизировать витрины данных;
• Разрабатывать и сопровождать процессы извлечения, трансформации и загрузки данных на Питоне и Apache Airflow;
• Проектировать, внедрять и развивать потоковую загрузку данных из MySQL и МонгоДБ в ClickHouse;
• Оптимизировать производительность запросов и архитектуру хранения данных;
• Настраивать партиционирование, использовать семейство MergeTree, словари и другие возможности ClickHouse;
• Обеспечивать качество данных: проводить сверки источников, выявлять и устранять расхождения, анализировать причины ошибок;
• Поддерживать инфраструктуру процессов загрузки данных и контролировать стабильность их работы;
• Настраивать мониторинг, алертинг и участвовать в устранении инцидентов;
• Работать с системами контроля версий, участвовать в проверке кода;
• Поддерживать техническую документацию.

• Коммерческий опыт работы инженером данных от 3 лет;
• Отличное знание структурированного языка запросов и опыт написания сложных оптимизированных запросов;
• Уверенный опыт работы с ClickHouse;
• Практический опыт работы с MySQL;
• Опыт работы с МонгоДБ и другими хранилищами без схемы;
• Опыт разработки процессов извлечения, трансформации и загрузки данных;
• Опыт работы с Apache Airflow или аналогичными системами оркестрации;
• Понимание принципов изменения данных и опыт построения соответствующих процессов;
• Опыт проектирования и внедрения процессов контроля качества данных;
• Навыки разработки на Питоне для построения конвейеров данных;
• Опыт работы с системами контроля версий;
• Будет плюсом глубокая экспертиза в ClickHouse, семейство MergeTree, словари, партиционирование, исторические загрузки, оптимизация тяжелых запросов, практический опыт работы с Apache Kafka, опыт настройки мониторинга в Графане, опыт работы с Power BI или другими инструментами бизнес-аналитики, опыт работы с веб-аналитикой, опыт миграции данных из БигКвери в ClickHouse, опыт построения и проверки качества данных между БигКвери и ClickHouse, опыт работы с данными в сфере игламинг или беттинга.

• Условий в вакансии нет