Если просят войти через iCloud, отправить коды из SMS, запустить код, что-то установить, перевести деньги или сделать что угодно, связанное с деньгами, не соглашайтесь: это признаки мошенничества.
Data Engineer
генерация резюме
сопроводительное письмо
описание
Команда строит корпоративную дата-платформу, которая стандартизирует работу с данными и заменяет устаревшие решения.
задачи
- Разрабатывать с нуля MVP новой дата-платформы и инфраструктуры для сбора и трансформации данных;
- Мигрировать существующие пайплайны с Hadoop и HDFS на новую архитектуру;
- Работать с большими объёмами данных и высоконагруженными Kafka-топиками;
- Строить отказоустойчивые пайплайны обработки и доставки данных;
- Участвовать в архитектурных решениях и внедрять лучшие практики хранения, мониторинга и качества данных;
- Проектировать витрины данных для аналитики;
- Сопровождать миграцию BI-отчётов на новую платформу.
требования
- Опыт работы на позиции Data Engineer или Big Data Engineer от 3 лет;
- Глубокое понимание работы Spark;
- Опыт работы с ClickHouse и умение оптимизировать его производительность;
- Знание принципов построения дата-архитектуры;
- Навыки проектирования отказоустойчивых пайплайнов;
- Владение Python или Scala;
- Уверенное знание SQL;
- Будет плюсом опыт построения дата-платформ, работы с высоконагруженной Kafka, знание инструментов мониторинга и контроля качества данных, опыт построения Data Lineage и работы с Data Catalog, а также инфраструктурный опыт с Docker, Kubernetes и CI/CD.
условия
- Аккредитованная IT-компания;
- Полностью «белая» зарплата;
- Дополнительные дни отпуска за стаж работы;
- ДМС, онлайн-консультации терапевта, невролога, психолога и медицинского агента;
- Учебный центр, курсы, тренинги и книги для профессионального развития;
- Помощь с выступлениями на конференциях и публикациями на Хабре.
навыки