Data engineer

грейд
middle
формат
офис Алматы
страна
Казахстан
опубликована
сегодня

описание

Teez быстро растет, и объем данных, который проходит через наши системы, постоянно увеличивается. Нам нужен Data Engineer, который поможет строить надежную инфраструктуру данных, развивать пайплайны и обеспечивать качественную доставку данных для аналитики, ML и бизнес-команд. В этой роли предстоит работать с batch-и streaming-данными, развивать хранилища и витрины и участвовать в архитектурных решениях.

задачи

  • Разрабатывать и поддерживать ETL/ELT и CDC-пайплайны для batch-и streaming-данных.
  • Интегрировать различные источники данных и развивать слой хранения и витрин.
  • Работать с PostgreSQL, ClickHouse, S3 / lakehouse.
  • Обеспечивать качество и надежность data-пайплайнов: тестирование, мониторинг, алертинг и разбор инцидентов.
  • Развивать оркестрацию и CI/CD для data-процессов.
  • Участвовать в проектировании архитектуры data-платформы и технических решениях.
  • Проводить code review и улучшать существующие решения.
  • Документировать пайплайны, модели данных и правила их эксплуатации.
  • Оптимизировать производительность и надежность процессов обработки данных.

требования

  • 2+ года опыта в Data Engineering в production-среде;
  • уверенно владеет SQL и Python;
  • понимает принципы моделирования данных и построения DWH / lakehouse;
  • имеет практический опыт работы с PostgreSQL и/или ClickHouse;
  • работал с Airflow и Kafka;
  • понимает принципы CDC, партиционирования, идемпотентности и контроля качества данных;
  • умеет работать с Git, Docker и CI/CD;
  • способен самостоятельно находить причины сбоев и проблем производительности data-пайплайнов.
  • Будет плюсом: dbt; Debezium / Flink CDC; S3-совместимые хранилища; Apache Spark; Kubernetes; Опыт работы с высокими объемами данных и streaming-системами

условия

  • Работу в быстрорастущем казахстанском marketplace.
  • Реальные задачи по построению и масштабированию data-инфраструктуры.
  • Современный стек и возможность влиять на архитектуру data-платформы.
  • Тесное взаимодействие с Data Scientists, Data Analysts, разработчиками и бизнес-командами.
  • Сильную инженерную культуру и минимум бюрократии.
  • Возможность развиваться в направлении Data Engineering / Big Data / Data Platform.
  • Комфортный офис в Алматы.

навыки

компания

похожие вакансии

статьи для разработчиков