.svg)
Загрузи резюме в профиль, чтобы сгенерировать временное CV под эту вакансию
сегодня
data engineer
в пределах рынка
вакансия
300 000 ₽
в среднем
304 849 ₽
мэтч
Загрузи резюме, чтобы видеть мэтчи с вакансией
генерация резюме под вакансию
сопроводительное письмо
Загрузи резюме в профиль, а нейросеть определит твою категорию. Затем ты сможешь генерировать сопроводительные письма для вакансий этой категории
описание
Вакансия только для кандидатов из РФ
Описания нет
задачи
- Реализовывать и сопровождать пайплайны для критичных бизнес-процессов;
- Обеспечивать полный цикл поставки данных: от источника до эксплуатации и исправления дефектов;
- Проектировать слои корпоративного хранилища данных, витрины и интеграции;
- Реализовывать пайплайны с учетом идемпотентности, повторного запуска, полноты и надежности загрузки;
- Проводить сверки между источниками, слоями хранилища и витринами;
- Выполнять SQL-проверки полноты, согласованности и корректности данных;
- Настраивать мониторинг загрузок, алертинг по сбоям, анализировать логи, расследовать инциденты и устранять причины дефектов;
- Управлять схемами, миграциями и версионированием данных.
требования
- Опыт в инженерии данных и ETL-разработке от 5 лет;
- Опыт работы с Greenplum или другой MPP-СУБД, включая сложный SQL, оптимизацию запросов, индексы, партиционирование и планы выполнения;
- Опыт работы с Apache Spark, включая Spark SQL, DataFrame API и оптимизацию производительности;
- Владение Airflow или аналогами, Git, CI/CD;
- Знание Python и/или Java для разработки пайплайнов, утилит, автоматизации и проверок качества;
- Понимание принципов проектирования хранилищ данных, нормализации, денормализации, схем «звезда»/«снежинка» и Data Vault 2.0;
- Опыт миграции данных между платформами хранилищ данных;
- Умение работать с инструментами управления схемами и миграциями;
- Будет плюсом опыт редизайна хранилищ данных, разработки ETL-фреймворков и библиотек, настройки автоматического восстановления процессов, менторства инженеров и формирования стандартов разработки.
условия
- Условий в вакансии нет
навыки
Если просят войти через iCloud, отправить коды из SMS, запустить код, что-то установить, перевести деньги или сделать что угодно, связанное с деньгами, не соглашайтесь: это признаки мошенничества.
