Спроси Хайрика про вакансию
Сверит с твоим резюме, подскажет вилку и вопросы на собесе.
Описания нет
9 окт
devops для кластеров Spark
выше рынка на 18,9%
вакансия
272 000 ₽
в среднем
228 720 ₽
мэтч
Загрузи резюме, чтобы видеть мэтчи с вакансиейЗагрузи резюме, чтобы видеть мэтч с вакой
подготовься к отклику
ai-инструментыЧтобы адаптировать резюме под вакансию или составить сопроводительное письмо, загрузи резюме
описание
задачи
- Развертывать и настраивать управляемые кластеры Spark
- Автоматизировать инфраструктуру с помощью Terraform или Ansible
- Настраивать сетевое взаимодействие между Greenplum и Spark
- Запускать Spark в Kubernetes
- Управлять ресурсами кластера Spark
- Настраивать оркестрацию конвейеров данных в Apache Airflow
- Настраивать мониторинг и журналирование заданий Spark
- Настраивать CI/CD для развёртывания приложений Spark
- Писать инфраструктурные скрипты и отлаживать их
- Использовать Bash-скрипты
требования
- Опыт развёртывания и настройки управляемых кластеров Spark: Yandex Data Proc, Google Dataproc или AWS EMR
- Владение Terraform или Ansible для автоматизации инфраструктуры
- Опыт настройки VPC, VPN и Security Groups между Greenplum и Spark
- Опыт работы с Docker и Kubernetes, если Spark запускается в Kubernetes
- Понимание архитектуры Greenplum и способов выгрузки данных: gpfdist, PXF, JDBC
- Знание архитектуры Spark: Driver, Executor, History Server
- Опыт работы с форматами данных Parquet, ORC и Avro
- Опыт настройки мониторинга и журналирования с Prometheus, Grafana или ELK
- Опыт настройки CI/CD с GitLab CI или Jenkins
- Знание Python (PySpark) или Scala
- Навыки работы с Bash
- Гражданство РФ
условия
- Ставка: до 1700, с НДС
- Работа в РФ
- Срок привлечения — 1 месяц, старт 05.11.2026
навыки
Если просят выйти из iCloud, прислать код из SMS, запустить или установить что-то, перевести деньги — не соглашайся: это мошенничество.
