Инженер данных для BI

грейд
senior
формат
офис Алматы
страна
Казахстан
опубликована
сегодня

описание

Описания нет

задачи

  • Развивать корпоративное хранилище данных: проектировать слои, схемы, таблицы и представления, оптимизировать структуру хранения
  • Разрабатывать и сопровождать витрины данных для аналитики, BI
  • Проектировать и разрабатывать процессы загрузки данных из разнородных источников
  • Настраивать потоки передачи данных между системами: интеграции, синхронизация, обработка ошибок
  • Строить дашборды, алертинг и мониторинг
  • Обеспечивать наблюдаемость пайплайнов: контроль качества данных, отслеживание задержек и сбоев загрузок
  • Проводить аудит текущих решений, выявлять точки роста
  • Профайлинг, оптимизация и рефакторинг существующих решений
  • Поддерживать и развивать ETL-инфраструктуру и интеграционное ПО, участвовать в разборе инцидентов
  • Собирать и уточнять требования к данным вместе с аналитиками и бизнес-заказчиками
  • Участвовать в анализе данных: выявление зависимостей, построение логических связей, подготовка данных для аналитики
  • Вести задачи в Jira: оценка, декомпозиция, контроль выполнения

требования

  • От 4 лет коммерческого опыта в роли DWH / Data Engineer
  • Хранилище, которое вы развивали и меняли, а не только поддерживали в рабочем состоянии
  • Витрины данных, доведённые до продакшена и живущие в реальной работе аналитики или BI
  • Понимаете принципы построения DWH (Kimball / Inmon, star schema, ETL/ELT) и можете обосновать выбор подхода под конкретную задачу, а не следовать шаблону
  • Понимаете различия OLTP-и OLAP-систем и последствия выбора для схемы и профиля нагрузки
  • Умеете декомпозировать размытую бизнес-задачу до модели данных и плана работ
  • SQL на уровне оптимизации: читаете план запроса, находите узкие места, переписываете тяжёлые запросы
  • PostgreSQL / MySQL или другая промышленная РСУБД под нагрузкой
  • Kafka: топики, партиционирование, продюсеры и консьюмеры, поведение при сбоях и повторной обработке
  • Clickhouse: проектирование схем под конкретные паттерны запросов, движки таблиц, партиционирование, materialized views
  • Airflow или другой оркестратор
  • Python на уровне поддерживаемого production-кода
  • Git, Jira
  • Будет плюсом: Отвечали за архитектуру хранилища или крупного домена данных целиком, а не за отдельные пайплайны; Проводили аудит чужих решений и доводили рефакторинг до результата, а не до списка замечаний; Работаете с качеством данных как с отдельной задачей: проверки, SLA на данные, договорённости с владельцами источников; Ревьюите код, помогаете расти middle-инженерам; Общаетесь с бизнес-заказчиком напрямую: превращаете запрос в требования, оцениваете и защищаете сроки; Интеграции с BI-системами: Power BI, Tableau и др; Опыт создания и мониторинга production-сервисов и API на Python, работа со сторонними API; Опыт работы в облачных средах (AWS, GCP), понимание облачных сетей и безопасности

условия

  • График работы 5/2, с 09:00 до 18:00
  • Корпоративная мобильная связь
  • Добровольное медицинское страхование
  • Оплата части расходов по фитнесу

навыки

похожие вакансии

статьи для разработчиков