Команда создаёт корпоративную платформу для работы с данными, объединяя наработки компании в единое стандартизированное решение. Платформа заменит устаревшие системы и будет использоваться инженерными командами для работы с корпоративными данными.
вчера
data engineer корпоративной платформы
ориентир по рынку
вакансия
зп не указана
в среднем
219 972 ₽
мэтч
Загрузи резюме, чтобы видеть мэтчи с вакансиейЗагрузи резюме, чтобы видеть мэтч с вакой
подготовься к отклику
ai-инструментыЧтобы адаптировать резюме под вакансию или составить сопроводительное письмо, загрузи резюме
описание
задачи
- Разрабатывать с нуля MVP новой платформы данных и инфраструктуру для приёма и преобразования данных
- Переносить существующие пайплайны с Hadoop/HDFS на новую архитектуру с S3, Kafka, Spark и ClickHouse
- Работать с большими объёмами данных и высоконагруженными топиками Kafka
- Строить отказоустойчивые пайплайны обработки и доставки данных
- Участвовать в архитектурных решениях и внедрять лучшие практики хранения, мониторинга и контроля качества данных
- Проектировать витрины данных для продуктовой и управленческой аналитики (OLAP)
- Сопровождать перенос BI-отчётов на новую платформу, включая DataLens и Power BI
- Проектировать архитектуру верхнего уровня с учётом безопасности, мониторинга и многопользовательской нагрузки
- Влиять на технологический курс компании: решения будут использовать десятки команд
- Реализовывать технические решения, которые сложно внедрить в рамках существующих подходов
требования
- Опыт работы Data Engineer или Big Data Engineer от 3 лет
- Хорошее понимание Apache Spark и умение настраивать его
- Опыт работы с ClickHouse и умение оптимизировать его производительность
- Опыт работы с высоконагруженной Kafka — десятки или сотни тысяч событий в секунду
- Знание архитектуры данных: DWH, Lake, OLAP, ETL/ELT, Data Governance
- Умение проектировать отказоустойчивые пайплайны
- Уверенное владение одним из языков программирования, например Python или Scala
- Знание SQL и умение разбираться в логике отчётов
- Будет плюсом: опыт построения платформ данных и Self-Service-инструментов, знание инструментов мониторинга и контроля качества данных, Data Contracts, опыт работы с Data Lineage и Data Catalog, инфраструктурный опыт с Docker, Kubernetes и CI/CD
условия
- Полностью «белая» зарплата
- ДМС и онлайн-консультации терапевта, невролога, психолога и медицинского агента
- Учебный центр, курсы, тренинги и книги для развития навыков
- Помощь с выступлениями на конференциях и публикациями на Хабре
- Условий в вакансии нет
навыки
Российская платформа с картами и справочником. Помогает находить организации, строить маршруты, изучать города. Предлагает сервисы для бизнеса: реклама, аналитика, API. Удобно для навигации и поиска услуг.
Подробнее о компании →Если просят выйти из iCloud, прислать код из SMS, запустить или установить что-то, перевести деньги — не соглашайся: это мошенничество.
