описание
Teez быстро растет, и объем данных, который проходит через наши системы, постоянно увеличивается. Нам нужен Data Engineer, который поможет строить надежную инфраструктуру данных, развивать пайплайны и обеспечивать качественную доставку данных для аналитики, ML и бизнес-команд. В этой роли предстоит работать с batch-и streaming-данными, развивать хранилища и витрины и участвовать в архитектурных решениях.
задачи
- Разрабатывать и поддерживать ETL/ELT и CDC-пайплайны для batch-и streaming-данных.
- Интегрировать различные источники данных и развивать слой хранения и витрин.
- Работать с PostgreSQL, ClickHouse, S3 / lakehouse.
- Обеспечивать качество и надежность data-пайплайнов: тестирование, мониторинг, алертинг и разбор инцидентов.
- Развивать оркестрацию и CI/CD для data-процессов.
- Участвовать в проектировании архитектуры data-платформы и технических решениях.
- Проводить code review и улучшать существующие решения.
- Документировать пайплайны, модели данных и правила их эксплуатации.
- Оптимизировать производительность и надежность процессов обработки данных.
требования
- 2+ года опыта в Data Engineering в production-среде;
- уверенно владеет SQL и Python;
- понимает принципы моделирования данных и построения DWH / lakehouse;
- имеет практический опыт работы с PostgreSQL и/или ClickHouse;
- работал с Airflow и Kafka;
- понимает принципы CDC, партиционирования, идемпотентности и контроля качества данных;
- умеет работать с Git, Docker и CI/CD;
- способен самостоятельно находить причины сбоев и проблем производительности data-пайплайнов.
- Будет плюсом: dbt; Debezium / Flink CDC; S3-совместимые хранилища; Apache Spark; Kubernetes; Опыт работы с высокими объемами данных и streaming-системами
условия
- Работу в быстрорастущем казахстанском marketplace.
- Реальные задачи по построению и масштабированию data-инфраструктуры.
- Современный стек и возможность влиять на архитектуру data-платформы.
- Тесное взаимодействие с Data Scientists, Data Analysts, разработчиками и бизнес-командами.
- Сильную инженерную культуру и минимум бюрократии.
- Возможность развиваться в направлении Data Engineering / Big Data / Data Platform.
- Комфортный офис в Алматы.