Корпоративный проект связан с облачной инфраструктурой, эксплуатацией Data Lake и обеспечением стабильной работы платформы.
DevOps / Data Lake Engineer
подготовься к отклику
ai-инструментыЧтобы адаптировать резюме под вакансию или составить сопроводительное письмо, загрузи резюме
описание
задачи
- Администрировать и поддерживать Amazon EKS и кластеры Kubernetes
- Управлять группами узлов EKS, инстансами EC2, группами автоматического масштабирования, подами, сервисами и рабочими нагрузками
- Настраивать и управлять доступом к S3, политиками бакетов, шифрованием и подключением к Data Lake
- Поддерживать Apache Hive, Impala, Iceberg и Ranger и устранять неполадки
- Работать с метаданными Data Lake, изменением схем данных, снимками и обслуживанием таблиц
- Контролировать доступность, производительность, ёмкость и безопасность платформы
- Анализировать и устранять инциденты в AWS, Kubernetes и экосистеме Apache
- Автоматизировать инфраструктуру и операционные процессы с помощью Terraform, Helm, Python и Bash
требования
- Практический опыт работы с облачной инфраструктурой AWS, особенно с Amazon EKS, Kubernetes и Data Lake на базе S3
- Знание Apache Hive, Impala, Iceberg, Ranger, а также сервисов управления метаданными и каталогами
- Опыт работы с инфраструктурой как кодом и инструментами автоматизации: Terraform, Helm, Python, Bash
- Навыки устранения неполадок, мониторинга и администрирования облачных платформ
- Понимание принципов облачной безопасности, AWS IAM и управления доступом
- Будет плюсом: опыт работы с Cloudera Data Platform (CDP) on Cloud, Cloudera Data Warehouse, Cloudera Data Engineering, Cloudera AI или Dremio Lakehouse
условия
- Проект длительностью 12 месяцев
- Начало работы — как можно скорее
навыки
Если просят выйти из iCloud, прислать код из SMS, запустить или установить что-то, перевести деньги — не соглашайся: это мошенничество.