devops engineer инфраструктуры больших данных

ориентир по рынку

вакансия зп не указана

в среднем 228 720 ₽

мэтч

Загрузи резюме, чтобы видеть мэтчи с вакансиейЗагрузи резюме, чтобы видеть мэтч с вакой

подготовься к отклику

ai-инструменты

Чтобы адаптировать резюме под вакансию или составить сопроводительное письмо, загрузи резюме

Краткосрочный проектный спринт по развёртыванию и настройке инфраструктуры больших данных.

Развертывать и настраивать управляемые кластеры Spark (Yandex Data Proc, Google Dataproc, AWS EMR)
Настраивать инфраструктуру: VPC, VPN и Security Groups между Greenplum и Spark
Оркестрировать процессы в Apache Airflow
Настраивать мониторинг заданий Spark
Настраивать конвейер CI/CD

Опыт развёртывания и настройки управляемых кластеров Spark
Владение Terraform или Ansible
Знание Docker и Kubernetes
Знание архитектуры Greenplum и способов интеграции и выгрузки данных через gpfdist, PXF или JDBC
Знание архитектуры Spark и управления ресурсами
Опыт работы с Prometheus, Grafana и ELK для мониторинга заданий Spark
Опыт работы с GitLab CI или Jenkins
Знание Python (PySpark) или Scala для инфраструктуры и отладки
Знание Bash
Знание форматов Parquet, ORC и Avro
Опыт работы с управляемыми кластерами Spark критически важен
Опыт работы с Greenplum и его интеграцией со Spark

spark google dataproc aws emr terraform ansible docker kubernetes greenplum airflow prometheus grafana gitlab ci jenkins pyspark

Если просят выйти из iCloud, прислать код из SMS, запустить или установить что-то, перевести деньги — не соглашайся: это мошенничество.

Спроси Хайрика про вакансию

Сверит с твоим резюме, подскажет вилку и вопросы на собесе.