data engineer корпоративного DWH

грейд
senior
формат
удалённо
опубликована
сегодня

описание

Описания нет

задачи

  • Проектировать и разрабатывать потоки данных с использованием ETL/ELT-инструментов
  • Разрабатывать программный код и проводить его тестирование
  • Реализовывать кастомные трансформации данных
  • Проектировать и создавать прототипы и витрины данных
  • Разрабатывать процедуры на языке PL/pgSQL
  • Проводить анализ производительности существующих систем
  • Оптимизировать SQL-запросы и структуры баз данных
  • Участвовать в масштабировании и повышении производительности систем
  • Развивать архитектуру DWH
  • Анализировать и выбирать оптимальные технологии, инструменты и методологии
  • Создавать и актуализировать базу знаний для пользователей хранилища данных
  • Сопровождать и мониторить информационные системы в своей зоне ответственности

требования

  • Знать принципы построения хранилищ данных и архитектуры DWH
  • Понимать принципы работы MPP-систем
  • Иметь практический опыт работы с экосистемой Hadoop: HDFS, YARN, Apache Spark, Apache Kafka, Apache NiFi, Sqoop, Flume
  • Уверенно знать SQL, включая DDL и DML
  • Иметь опыт анализа и оптимизации сложных SQL-запросов
  • Иметь опыт разработки на PL/pgSQL
  • Иметь практический опыт работы с Greenplum или отлично знать PostgreSQL
  • Иметь опыт работы с ETL-инструментами SAS Data Integration Studio и/или Informatica PowerCenter
  • Понимать процессы проектирования потоков, преобразования и загрузки данных
  • Иметь опыт сопровождения и мониторинга информационных систем
  • Уметь вести проектную и техническую документацию
  • Иметь опыт работы с Git, Jira и Confluence
  • Будет плюсом: опыт проектирования высоконагруженных хранилищ данных, масштабирования MPP- и Hadoop-систем, участие в проектах по развитию крупных корпоративных DWH, построение сложных ETL/ELT-процессов и витрин данных

условия

  • Условий в вакансии нет

навыки

компания

Группа компаний TopSelection специализируется на подборе и аутстаффинге IT-специалистов для проектов любой продолжительности обеспечивая полный цикл рекрутмента, техническую оценку, гарантию замены и поддержку развития кадров на российском и международном рынках

Подробнее о компании →

похожие вакансии

статьи для разработчиков