DevOps for Hadoop clusters

Объединённая компания Wildberries и Russ — это международная технологическая компания, образованная в результате слияния двух лидеров рынка — IT-компании Wildberries и оператора наружной рекламы Russ. Наша компания непрерывно развивается и создаёт новые продукты, используя современный стек и новейшие технологии. Мы команда, которая работает с большими данными и строит передовые data-driven решения.

• Администрировать и развивать Hadoop-кластеры объемом 50PB NVME (Vanilla HDFS, YARN, Iceberg, Spark, Trino);
• Обеспечивать отказоустойчивость и доступность сервисов;
• Проводить мониторинг, алертинг и анализ инцидентов;
• Оптимизировать производительность кластера и сервисов;
• Автоматизировать рутинные операции (Ansible, скрипты);
• Вести документацию (runbooks, инструкции);
• Capacity Planning: прогноз роста хранилища и очередей YARN, планирование добавления узлов/дисков (Hot/Warm-тиры, erasure coding);

• Имеете опыт администрирования Linux (systemd, сети, диски, RAID/LVM);
• Работаете с Hadoop (HDFS, YARN, Iceberg, Spark);
• Понимаете HA (Active/Standby);
• Имеете опыт настройки Kerberos и TLS;
• Имеете навыки диагностики (top, iostat, vmstat, tcpdump, flamegraph);
• Observability: Prometheus или VictoriaMetrics + Grafana;

• Обучение и развитие: языковые клубы, собственный корпоративный университет, программы развития управленческих навыков и многое другое;
• Благополучие сотрудников: корпоративный пакет ДМС со стоматологией, корпоративный спорт, консультации психолога и дополнительные возможности аккредитованной IT-компании;
• Множество сообществ: клуб спикеров, футбола, йоги, шахмат и т.д.;
• Забота о семьях: создаем условия, в которых легко сочетать карьеру и заботу о близких – от гибкого подхода до масштабных проектов для детей сотрудников;
• Скидки и партнерские программы: на обучение, страхование, покупки и многое другое;
• Комфортная рабочая среда: бесплатное питание в офисе, современные офисы рядом с метро, корпоративная техника и портал для сотрудников.