дата инженер для платформы данных

Описания нет

• Проектировать и оптимизировать масштабируемые пайплайны обработки данных в пакетном и потоковом режимах на базе Airflow, Spark, Hadoop и ClickHouse;
• Поддерживать высокое качество данных с помощью валидации, профилирования и мониторинга;
• Обеспечивать своевременную поставку признаков для аналитики и машинного обучения;
• Участвовать в разработке AI/ML-сервисов в рамках Корпоративного центра ИИ.

• Высшее образование;
• Продвинутое владение SQL, включая ClickHouse, Hive и реляционные СУБД;
• Навыки оптимизации запросов и структур хранения;
• Продвинутое владение Python и PySpark;
• Знание основ Scala для разработки и оптимизации пайплайнов на Spark;
• Опыт работы с Hadoop/HDFS, интеграцией с объектными хранилищами S3 и потоковой обработкой Kafka;
• Опыт проектирования и сопровождения устойчивых ETL/ELT-процессов в Airflow;
• Навыки работы с Git, CI/CD и инструментами анализа Jupyter и DataSphere;
• Опыт работы от 5 лет.

• Официальное трудоустройство в аккредитованный IT-актив;
• Оплачиваемые отпуска, командировки и больничные;
• ДМС со стоматологией после испытательного срока;
• 100% Компенсация больничного;
• Рыночная заработная плата по результатам собеседования;
• Комфортные офисные условия;
• Корпоративные программы от партнёров;
• Льготное подключение к телеком-услугам по тарифу «Сотрудник»;
• Возможность карьерного роста;
• Условий в вакансии нет.