Инженер по обработке данных с аналитической платформой BigQuery и Dataform

Инженер по обработке данных с аналитической платформой BigQuery и Dataform

ЧК DataArt Kazakhstan Ltd.

Основные требования

Обзор вакансии
Мы ищем старшего инженера по обработке данных для проектирования, создания и поддержки уровня данных платформы. Вы будете владеть каноническим моделированием данных, конвейерами преобразования и семантическим уровнем отчетности, интегрировать данные из корпоративных систем и поддерживать работоспособность всего потока данных — конвейеры работают, сервисы работают, наборы данных заслуживают доверия.
Требования
• Опыт работы с BigQuery и облачными хранилищами данных
• Уверенные навыки работы с SQL и понимание методов моделирования данных
• Практический опыт работы с Dataform или аналогичными инструментами преобразования
• Python для конвейеров передачи данных и сервисов
• Практические знания более широкой платформы GCP: хранение объектов, обмен сообщениями и сервисы событий, контейнерные сервисы, управление IAM и секретами
• Опыт построения и поддержки конвейеров данных и процессов ETL ELT, включая потоки, управляемые событиями, с пониманием принципов оркестрации
• Удобство работы как со структурированными, так и с полуструктурированными данными
• Знакомство с Looker и LookML или аналогичными инструментами семантического уровня
• Рабочий процесс на основе Git с проверкой кода и отдельными средами разработки и производства
• Понимание практик обеспечения качества данных и методов их проверки
• Способность эффективно сотрудничать с межфункциональными командами
Будет плюсом
• Опыт интеграции данных из корпоративных или ERP-систем, таких как Sage 200 или Dynamics 365
• Инфраструктура в виде кода (Terraform) и автоматизация развертывания
• Доступ к инструментам управления данными и каталогизации данных, таким как Dataplex
• Опыт работы с финансовыми потоками ERP, операциями по обслуживанию на местах или процессами оформления заказов на поставку и выставления счетов
• Опыт работы с другими облачными платформами или инструментами обработки данных
• Опыт работы в средах, ориентированных на аналитику или отчетность

Чем предстоит заниматься

Обязанности
• Проектируйте и разрабатывайте канонические модели данных в BigQuery, согласовывая исходные тексты, чтобы модели можно было использовать повторно по мере расширения платформы
• Создавайте и поддерживайте рабочие процессы преобразования данных с помощью Dataform
• Разрабатывайте и улучшайте семантический уровень Looker LookML для создания отчетов и аналитики
• Создавайте конвейеры приема данных на GCP, включая потоки данных, управляемые событиями
• Интегрируйте данные из Sage 200, Dynamics 365 и других корпоративных систем
• Работайте со структурированными и полуструктурированными данными, включая полезную нагрузку в формате JSON, создаваемую автоматизированными службами
• Обеспечивайте точность и согласованность данных с помощью встроенных в конвейеры проверок достоверности
• Контролируйте рабочие процессы обработки данных и поддерживайте их в рабочем состоянии, ведя журнал и оповещая о сбоях
• Применяйте методы обеспечения безопасности и защиты данных, включая требования GDPR Великобритании
• Контролируйте и оптимизируйте рабочие процессы с данными для повышения производительности и масштабируемости

Что мы предлагаем

Что мы предлагаем
• Полная занятость по официальному трудовому договору
• Гибкий формат работы: офисный, удаленный или гибридный
• Частное медицинское страхование
• Оплачиваемый отпуск и больничный лист
• Доступ к внутренним и внешним образовательным платформам
• Рабочее оборудование
• Реферальная программа с бонусами за рекомендации друзей и бывших коллег.

Город или область: г.Астана

График работы: Полный день, Удаленная работа

Тип занятости: Полная занятость

Образование: Высшее - Бакалавр

Опыт работы: Не менее 5 лет

Направление: Информационные технологии

• Обязанности;
• Проектируйте и разрабатывайте канонические модели данных в BigQuery, согласовывая исходные тексты, чтобы модели можно было использовать повторно по мере расширения платформы;
• Создавайте и поддерживайте рабочие процессы преобразования данных с помощью Dataform;
• Разрабатывайте и улучшайте семантический уровень Looker LookML для создания отчетов и аналитики;
• Создавайте конвейеры приема данных на GCP, включая потоки данных, управляемые событиями;
• Интегрируйте данные из Sage 200, Dynamics 365 и других корпоративных систем;
• Работайте со структурированными и полуструктурированными данными, включая полезную нагрузку в формате JSON, создаваемую автоматизированными службами;
• Обеспечивайте точность и согласованность данных с помощью встроенных в конвейеры проверок достоверности;
• Контролируйте рабочие процессы обработки данных и поддерживайте их в рабочем состоянии, ведя журнал и оповещая о сбоях;
• Применяйте методы обеспечения безопасности и защиты данных, включая требования GDPR Великобритании;
• Контролируйте и оптимизируйте рабочие процессы с данными для повышения производительности и масштабируемости.

• Обзор вакансии;
• Мы ищем старшего инженера по обработке данных для проектирования, создания и поддержки уровня данных платформы. Вы будете владеть каноническим моделированием данных, конвейерами преобразования и семантическим уровнем отчетности, интегрировать данные из корпоративных систем и поддерживать работоспособность всего потока данных — конвейеры работают, сервисы работают, наборы данных заслуживают доверия;
• Требования;
• Опыт работы с BigQuery и облачными хранилищами данных;
• Уверенные навыки работы с SQL и понимание методов моделирования данных;
• Практический опыт работы с Dataform или аналогичными инструментами преобразования;
• Python для конвейеров передачи данных и сервисов;
• Практические знания более широкой платформы GCP: хранение объектов, обмен сообщениями и сервисы событий, контейнерные сервисы, управление IAM и секретами;
• Опыт построения и поддержки конвейеров данных и процессов ETL ELT, включая потоки, управляемые событиями, с пониманием принципов оркестрации;
• Удобство работы как со структурированными, так и с полуструктурированными данными;
• Знакомство с Looker и LookML или аналогичными инструментами семантического уровня;
• Рабочий процесс на основе Git с проверкой кода и отдельными средами разработки и производства;
• Понимание практик обеспечения качества данных и методов их проверки;
• Способность эффективно сотрудничать с межфункциональными командами;
• Будет плюсом;
• Опыт интеграции данных из корпоративных или ERP-систем, таких как Sage 200 или Dynamics 365;
• Инфраструктура в виде кода (Terraform) и автоматизация развертывания;
• Доступ к инструментам управления данными и каталогизации данных, таким как Dataplex;
• Опыт работы с финансовыми потоками ERP, операциями по обслуживанию на местах или процессами оформления заказов на поставку и выставления счетов;
• Опыт работы с другими облачными платформами или инструментами обработки данных;
• Опыт работы в средах, ориентированных на аналитику или отчетность.

• Что мы предлагаем;
• Полная занятость по официальному трудовому договору;
• Гибкий формат работы: офисный, удаленный или гибридный;
• Частное медицинское страхование;
• Оплачиваемый отпуск и больничный лист;
• Доступ к внутренним и внешним образовательным платформам;
• Рабочее оборудование;
• Реферальная программа с бонусами за рекомендации друзей и бывших коллег.