Сервис Data Insight предназначен для построения Data Lineage — отслеживания движения данных от источника до точки применения — на разных стеках: от традиционных РСУБД до Big Data.
java/scala разработчик Data Lineage
подготовься к отклику
ai-инструментыЧтобы адаптировать резюме под вакансию или составить сопроводительное письмо, загрузи резюме
описание
задачи
- Участвовать в PoC альтернативных решений для Apache Atlas
- Разрабатывать компоненты для преобразования сообщений из формата Apache Atlas в Openlineage
- Интегрировать решение со стеком Hadoop, включая Spark и Hive, а также с РСУБД
- Проверять корректность сбора и отображения Data Lineage на новом решении
требования
- Уверенно знать Java Core, опыт работы — от 3 лет
- Уверенно знать Scala
- Знать экосистему Hadoop, в частности Spark и Hive
- Отлично знать SQL, уметь составлять сложные запросы и оптимизировать их
- Знать инструменты CI/CD и иметь опыт работы с ними
- Будет плюсом: опыт работы с Apache Atlas, Openlineage или другими инструментами управления метаданными, понимание принципов построения графовых структур данных
условия
- Ставка — до 210 000 руб. на руки в месяц
- Удалённый или гибридный формат работы
- Локация и гражданство: РФ
- Аутстаффинговая позиция
навыки
Крупнейший российский банк и экосистема. Предоставляет банковские услуги: кредиты, вклады, карты, ипотека. Развивает сервисы: доставка, здоровье, развлечения, облачные технологии и ИИ. Удобно для финансов и повседневных задач.
Подробнее о компании →Если просят выйти из iCloud, прислать код из SMS, запустить или установить что-то, перевести деньги — не соглашайся: это мошенничество.