описание
Описания нет
задачи
- Подключать источники данных: базы данных, файлы и CDC; настраивать инкрементальные загрузки
- Выполнять трансформации между слоями хранилища и проектировать аналитические витрины
- Разрабатывать и поддерживать пайплайны в оркестраторе
- Контролировать качество данных: тесты, полноту и идемпотентность загрузок
- Оптимизировать производительность: партиционирование, форматы таблиц и планы выполнения
- Проводить проверку кода, настраивать CI/CD, вести документацию и data lineage
требования
- Опыт работы Data Engineer в промышленных проектах от 2 лет
- Продвинутый SQL и Python для обработки данных
- Знание Spark или аналогов: партиций, shuffle и планов выполнения
- Опыт работы с dbt и Airflow или аналогами
- Знание Iceberg, Delta или Hudi и CDC-загрузок
- Знание моделирования данных: «звезда» и «снежинка»
- Опыт работы с Git и CI/CD
- Свободный русский и английский для чтения документации
- Будет плюсом: опыт в банковской сфере или платёжных системах, IOMETE, Databricks, Trino, Data Vault 2.0, Kubernetes, Great Expectations или Soda, BI (Qlik, Tableau, Power BI)
условия
- Офис в Ташкенте, Узбекистан
