Если просят войти через iCloud, отправить коды из SMS, запустить код, что-то установить, перевести деньги или сделать что угодно, связанное с деньгами, не соглашайтесь: это признаки мошенничества.

EvApps

сегодня

data engineer

ниже рынка на 41,0%

вакансия 200 000 ₽

в среднем 339 154 ₽

Добавь резюме в профиле, чтобы видеть % мэтча с вакансией

генерация резюме

Добавьте резюме в профиль, чтобы сгенерировать временное CV под эту вакансию

сопроводительное письмо

Добавь резюме в профиле, а нейросеть определит твою категорию. Затем ты сможешь генерировать сопроводительные письма для вакансий этой категории

описание

Описания нет

задачи

Разрабатывать и оптимизировать ETL-пайплайны
Обрабатывать и трансформировать XML-данные
Строить raw-слой (Parquet в S3) и витрины данных
Реализовывать нормализацию, дедупликацию и формирование "золотых" записей
Обеспечивать производительность обработки данных
Готовить решения к переносу в закрытый контур заказчика
Взаимодействовать с аналитиками, архитектором, DevOps и командой проекта

требования

Опыт работы Data Engineer от 3 лет
Опыт построения ETL/ELT пайплайнов в продакшн
Опыт работы с большими объемами данных
Уверенное владение Python
Опыт обработки и трансформации данных (pandas, PySpark или аналоги)
Опыт работы с XML (lxml, ElementTree или аналоги)
Понимание форматов хранения данных (Parquet, columnar storage)
Опыт работы с S3 или аналогичными хранилищами
Понимание архитектуры data lake / lakehouse и multi-layer подхода
Опыт подготовки данных (нормализация, дедупликация, golden record / master data)
Опыт работы с реляционными БД (PostgreSQL, Greenplum, ClickHouse или аналоги) и SQL
Опыт работы с Airflow или аналогами
Опыт работы с Docker и CI/CD
Опыт работы с облаками (Yandex Cloud, AWS, GCP)
Опыт работы с Git
Будет плюсом опыт работы со Spark, Hadoop, Delta Lake, Iceberg и Hudi

условия

Полная занятость

навыки

python sql docker clickhouse etl ci cd airflow pyspark postgresql xml parquet s3 git

Добавить в отклики

Telegram В отклики