Data Engineer

Описания нет

• Разрабатывать, поддерживать и дорабатывать пакетные пайплайны данных;
• Поддерживать и развивать DAG’и в Airflow;
• Настраивать, запускать и оптимизировать расчеты в Spark и Hadoop, разбирать проблемы производительности и стабильности;
• Разрабатывать выгрузки, витрины данных и внутренние утилиты для аналитиков и команды DS;
• Рефакторить существующий код для упрощения, повышения читаемости, надежности и взаимозаменяемости;
• Вести техническую коммуникацию с аналитиками и DS: уточнять детали реализации, оценивать риски и предлагать оптимальные решения.

• Высшее техническое образование;
• Опыт работы Python-разработчиком или дата-инженером;
• Уверенное владение Python 3: написание поддерживаемого кода, работа с файлами, конфигурациями, логированием и обработкой ошибок;
• Опыт работы с экосистемой Hadoop;
• Практический опыт работы со Spark: DataFrame API, джойны, партиционирование, оптимизация задач;
• Практический опыт работы с Airflow: создание и сопровождение DAG’ов, зависимости, расписания, перезапуски, обработка ошибок;
• Уверенное владение Git: ветки, code review, разрешение конфликтов, работа в командном репозитории;
• Умение читать и писать SQL для аналитических и ETL-задач;
• Способность самостоятельно разбираться в новом коде, пайплайнах или технологиях.

• Стабильный и прозрачный доход;
• Доступ к корпоративным библиотекам и скидки на курсы иностранных языков;
• Программа ДМС со стоматологией;
• Скидки на фитнес, услуги туристических агентств, продукты питания, рестораны, бары, магазины и салоны красоты;
• Программа развития AI-грамотности.