data engineer

Добавь резюме в профиле, а нейросеть определит твою категорию. Затем ты сможешь генерировать сопроводительные письма для вакансий этой категории

Команда работает в банковской и страховой сфере с аналитикой, Data Science и Big Data.

Вам нужно будет проектировать и разрабатывать ETL/ELT-пайплайны и витрины данных для аналитики и ML-моделей, выполнять очистку, валидацию и стандартизацию данных, настраивать автоматические проверки качества, организовывать сбор и переливку данных в Data Lake, контролировать обновление и актуальность, оптимизировать SQL-запросы и пайплайны, поддерживать Airflow-DAG-и, CI/CD и документацию, внедрять современные инженерные практики и автоматизацию, взаимодействовать с DS и аналитиками, помогать в оптимизации SQL и Python-кода.

• Отличное владение SQL (PostgreSQL, PL/SQL) и глубокое понимание теории БД
• Python + библиотеки для данных: pandas, polars, PySpark, pyarrow
• Опыт работы с Airflow, DVC
• Практика с распределёнными системами данных: Greenplum, Hadoop, Hive, Impala, HDFS
• Знание архитектур DWH, Data Lake, Data Mart
• Навыки работы с Jupyter (notebook/lab/hub), Git, CI/CD
• Опыт оптимизации SQL и профилирования
• Будет плюсом опыт работы с Docker / Kubernetes, взаимодействия с ML/DS-командами и построения data-пайплайнов под модели, инструментами проверки качества данных (Great Expectations, OpenMetadata и др.)

• Условий в вакансии нет