Data engineer

грейд
senior
формат
удалённо
страна
Россия
опубликована
сегодня

описание

возможность работать из любого города

Ты сможешь получить опыт и раскрыть свой потенциал, работая над уникальными технологичными проектами наших клиентов. Ты фокусируешься на технических задачах, а мы берем на себя переговоры с заказчиком, решение бюрократических вопросов и своевременно оплачиваем работу на проекте. Приглашаем Системного аналитика для работы на IT-проектах наших клиентов (в формате аутстафф).

задачи

  • Проектирование, разработка и сопровождение масштабируемых решений по интеграции, обработке и хранению данных в корпоративной платформе данных
  • Разработка и оптимизация batch-и streaming-пайплайнов для загрузки, трансформации и публикации данных
  • Разработка ETL/ELT-процессов с использованием современных инструментов обработки данных
  • Проектирование моделей данных для аналитических и операционных сценариев
  • Оптимизация производительности процессов обработки данных и SQL-запросов
  • Обеспечение качества данных: реализация механизмов валидации, мониторинга и контроля полноты данных
  • Участие в проектировании архитектуры платформы данных и выборе технологических решений
  • Внедрение и развитие практик DataOps и CI/CD для процессов обработки данных
  • Подготовка технической документации и архитектурных артефактов
  • Проведение код-ревью, техническое менторство и участие в развитии команды

требования

  • Опыт работы Data Engineer от 5 лет
  • Знание методологии Data Vault 2.0
  • Уверенные знания Python/Scala/Java для разработки ETL/ELT-процессов и сервисов обработки данных
  • Отличное знание SQL, опыт оптимизации сложных запросов и работы с большими объемами данных
  • Опыт проектирования и разработки промышленного Data Warehouse, Data Lake или Lakehouse решений.
  • Практический опыт работы с Apache Spark
  • Опыт работы с Apache Airflow, Apache Kafka
  • Опыт работы с системами потоковой обработки данных
  • Опыт работы с распределенными файловыми системами и форматами хранения данных: HDFS, Parquet, Avro
  • Опыт работы с экосистемой Hadoop или современными платформами хранения и обработки данных
  • Опыт работы с реляционными СУБД (PostgreSQL, Oracle, Clickhouse, Greenplum)
  • Уверенное владение Git и понимание процессов CI/CD
  • Опыт работы с системами управления задачами и документацией (Jira, Confluence или аналоги)
  • Понимание принципов построения отказоустойчивых и масштабируемых решений
  • Опыт использования dbt для построения трансформационных слоев данных
  • Практика внедрения Data Quality решений (Great Expectations, Soda и др.)
  • Опыт работы с Data Catalog и Data Governance инструментами

условия

  • Удаленную работу - возможность работать из любого города
  • Своевременные выплаты
  • Интересные и уникальные IT-проекты в крупных компаниях
  • Скидки от партнеров - английский язык, обучение, покупки
  • Корпоративная библиотека

навыки

компания

Российская компания RedLab разрабатывает ПО полного цикла для FinTech и iGaming: анализ требований, бэкенд и фронтенд, тестирование и техническая поддержка проектов

Подробнее о компании →

похожие вакансии

статьи для разработчиков