.svg)
.svg)
Добавь резюме в профиле, а нейросеть определит твою категорию. Затем ты сможешь генерировать сопроводительные письма для вакансий этой категории
Если вас просят войти через iCloud/Google, отправить коды из SMS или Telegram, запустить код или что-то установить, не соглашайтесь: это признаки мошенничества.
сегодня
data engineer
выше рынка на 37,3%
вакансия
416 300 ₽
в среднем
303 311 ₽
мэтч
Добавь резюме в профиле, чтобы видеть % мэтча с вакансией
сопроводительное письмо
описание
Вне РФ и РБ
Информация отсутствует
задачи
- Планировать, разрабатывать и поддерживать конвейеры ETL и ELT на разных уровнях данных (Bronze, Silver, Gold)
- Внедрять архитектуру медалиона с акцентом на происхождение данных и их качество
- Создавать и оптимизировать конвейеры потоковой передачи данных в реальном времени с использованием Pub/Sub и Apache Beam на Dataflow
- Создавать и оркестрировать пакетные рабочие процессы с использованием Cloud Composer и Apache Airflow
- Писать производительный и экономичный SQL для BigQuery, используя партиционирование, кластеризацию и оптимизацию запросов
- Сотрудничать с аналитиками и специалистами по данным для понимания потребностей в данных и предоставления надежных решений
- Подготавливать и поддерживать техническую документацию, словари данных и панели мониторинга мониторинга
требования
- 4 года опыта работы инженером данных
- 3 или более лет опыта проектирования и создания облачных конвейеров ETL и ELT
- Практический опыт моделирования данных, включая объектно-ориентированное моделирование и проектирование схем
- Опыт работы с архитектурами потоковой передачи данных в реальном времени и обработкой событийных данных
- Владение SQL и как минимум одним языком программирования, таким как Python, Java или Scala
- Опыт работы с Google Cloud Pub/Sub для приёма сообщений
- Практический опыт создания конвейеров Apache Beam на Google Cloud Dataflow
- Опыт оркестрации рабочих процессов в Cloud Composer или Apache Airflow
- Практический опыт оптимизации SQL для BigQuery, партиционирования, кластеризации, использования ресурсов и управления затратами
- Будет плюсом опыт использования BigQuery ML для создания и развертывания моделей, базовое понимание рабочих процессов машинного обучения и инжиниринга признаков, опыт использования Terraform для подготовки инфраструктуры, знакомство с фреймворками качества данных, такими как Great Expectations или dbt tests, сертификация Google Cloud Professional Data Engineer
условия
- Полная занятость
- Удалённая работа
- Возможность работать из Болгарии, Грузии, Казахстана, Польши, а также из Алматы, Астаны, Белграда, Бреслау, Днепра, Еревана, Харькова, Киева, Кракова, Ларнаки, Львова, Лодзи, Люблина, Одессы, Познани.
навыки
