.svg)
Загрузи резюме в профиль, чтобы сгенерировать временное CV под эту вакансию
28 июл
data engineer
ориентир по рынку
вакансия
зп не указана
в среднем
206 538 ₽
мэтч
Загрузи резюме, чтобы видеть мэтчи с вакансией
генерация резюме под вакансию
сопроводительное письмо
Загрузи резюме в профиль, а нейросеть определит твою категорию. Затем ты сможешь генерировать сопроводительные письма для вакансий этой категории
описание
Только для кандидатов из Польши, Грузии и Армении
Описания нет
задачи
- Развивать и поддерживать хранилище данных на ClickHouse;
- Проектировать и оптимизировать витрины данных;
- Разрабатывать и сопровождать процессы извлечения, трансформации и загрузки данных на Питоне и Apache Airflow;
- Проектировать, внедрять и развивать потоковую загрузку данных из MySQL и МонгоДБ в ClickHouse;
- Оптимизировать производительность запросов и архитектуру хранения данных;
- Настраивать партиционирование, использовать семейство MergeTree, словари и другие возможности ClickHouse;
- Обеспечивать качество данных: проводить сверки источников, выявлять и устранять расхождения, анализировать причины ошибок;
- Поддерживать инфраструктуру процессов загрузки данных и контролировать стабильность их работы;
- Настраивать мониторинг, алертинг и участвовать в устранении инцидентов;
- Работать с системами контроля версий, участвовать в проверке кода;
- Поддерживать техническую документацию.
требования
- Коммерческий опыт работы инженером данных от 3 лет;
- Отличное знание структурированного языка запросов и опыт написания сложных оптимизированных запросов;
- Уверенный опыт работы с ClickHouse;
- Практический опыт работы с MySQL;
- Опыт работы с МонгоДБ и другими хранилищами без схемы;
- Опыт разработки процессов извлечения, трансформации и загрузки данных;
- Опыт работы с Apache Airflow или аналогичными системами оркестрации;
- Понимание принципов изменения данных и опыт построения соответствующих процессов;
- Опыт проектирования и внедрения процессов контроля качества данных;
- Навыки разработки на Питоне для построения конвейеров данных;
- Опыт работы с системами контроля версий;
- Будет плюсом глубокая экспертиза в ClickHouse, семейство MergeTree, словари, партиционирование, исторические загрузки, оптимизация тяжелых запросов, практический опыт работы с Apache Kafka, опыт настройки мониторинга в Графане, опыт работы с Power BI или другими инструментами бизнес-аналитики, опыт работы с веб-аналитикой, опыт миграции данных из БигКвери в ClickHouse, опыт построения и проверки качества данных между БигКвери и ClickHouse, опыт работы с данными в сфере игламинг или беттинга.
условия
- Условий в вакансии нет
навыки
Если просят войти через iCloud, отправить коды из SMS, запустить код, что-то установить, перевести деньги или сделать что угодно, связанное с деньгами, не соглашайтесь: это признаки мошенничества.
