DevOps-инженер LLM-инфраструктуры

Сейчас мы активно развиваем внутреннюю экосистему ИИ-сервисов (умные чат-боты, транскрибация, инструменты для разработчиков и инженеров). Наша LLM-инфраструктура работает on-premise: несколько GPU-серверов с vLLM, нагрузка растёт. Нам нужен автономный DevOps/MLOps-инженер, который возьмёт на себя всю инфраструктуру ИИ-сервисов: от CI/CD и IaC до оптимизации производительности локальных языковых моделей и освободит ИИ-команду для профильных задач.

• Проектирование, развёртывание и поддержка CI/CD-конвейеров в GitLab CI для AI-сервисов.
• Автоматизация инфраструктуры с использованием Ansible; внедрение GitOps-подходов (Argo CD или Flux) при переходе на Kubernetes.
• Управление контейнерными средами: Docker, Kubernetes (кластеризация, масштабирование, обновления).
• Настройка мониторинга (Grafana + Prometheus), алертинга и лог-агрегации.
• Разработка скриптов и утилит на Python / Bash для автоматизации рутинных задач.
• Развёртывание, поддержка и оптимизация инференса LLM на vLLM: управление GPU-ресурсами, тюнинг производительности (--gpu-memory-utilization, --tensor-parallel-size, --max-num-seqs, квантование AWQ/GPTQ/FP8), prefix caching, масштабирование под нагрузкой.
• Нагрузочное тестирование и бенчмаркинг моделей (TTFT, throughput, inter-token latency), балансировка трафика между инстансами инференса.
• Управление жизненным циклом моделей: версионирование, канареечные релизы, rollouts, откат обновлений.
• Обеспечение надёжного и безопасного развёртывания моделей в продакшн совместно с разработчиками AI-моделей и дата-инженерами.
• Участие в планировании и реализации практик MLOps (реестр моделей, воспроизводимость развёртывания).
• Обучение коллег культуре DevOps, создание документации (runbook'и, эксплуатационные гайды).

• vLLM: опыт эксплуатации в продакшн — тюнинг производительности (--gpu-memory-utilization, --tensor-parallel-size, --max-num-seqs, квантование), работа с GPU-ресурсами, бенчмаркинг (TTFT, throughput).
• GPU-администрирование: опыт работы с NVIDIA GPU-серверами — драйверы, CUDA, nvidia-container-toolkit.
• Контейнеризация: уверенное владение Docker; опыт развёртывания Kubernetes-кластера с нуля (deployment, service, ingress, RBAC) — планируем внедрять K8s для внутренних ИИ-сервисов.
• CI/CD: построение и поддержка конвейеров в GitLab CI (pipelines, runners, переменные).
• Infrastructure as Code: Ansible (playbooks, роли, идемпотентные конфигурации).
• Мониторинг и алертинг: настройка Grafana + Prometheus (сбор метрик, построение дашбордов, правила оповещений); опыт мониторинга GPU-нагрузок (DCGM-exporter и т.п.).
• Скриптинг: уверенное написание утилит и автоматизации на Python и Bash (GPU-мониторинг, нагрузочные скрипты, обвязка CI/CD).
• Операционные системы: уверенная работа в Linux (Ubuntu), базовые навыки администрирования.
• Сетевые основы: понимание TCP/IP, базовых принципов firewall.
• Безопасность CI/CD: управление секретами (GitLab CI secrets), сканирование образов, best practices по безопасности в конвейерах.
• Будет плюсом: GitOps: практический опыт работы с Argo CD или Flux, настройка автоматической синхронизации инфраструктуры; Опыт эксплуатации Triton Inference Server в продакшн; Понимание факторов, влияющих на latency/throughput LLM-инференса (PagedAttention, continuous batching, KV-cache, квантование и его trade-offs); Управление секретами через Vault; Опыт работы с on-premise / bare-metal GPU-инфраструктурой (без управляемых облаков); Знакомство с MLOps-инструментами: MLflow, DVC, KServe/Ray Serve; Опыт GPU Operator / MIG в Kubernetes

• Создание инфраструктурного направление с нуля.
• Ваши архитектурные решения напрямую определяют скорость и качество вывода в продакшн новых сервисов.
• Возможность внедрять лучшие практики (GitOps, Kubernetes, MLOps) без необходимости поддерживать устаревшие системы и legacy-код.
• Официальное трудоустройство по ТК РФ с первого рабочего дня (у компании есть IT-аккредитация).
• Прозрачная система оплаты: фиксированный оклад + квартальные бонусы по результатам + годовая премия.
• Стандартный график 5/2: рабочий день с 10:00 до 18:30, но мы гибкие и начало можно сдвинуть по договорённости.
• Гибридный формат работы после испытательного срока (2-3 дня работы удалённо).
• Удобный офис в шаговой доступности от м.Преображенская площадь.
• Расширенный ДМС со стоматологией: полис оформляется на сотрудника и его детей после 3 месяцев работы.
• Развитие и обучение: у каждого новичка есть персональный куратор, который помогает адаптироваться и успешно пройти испытательный срок. Также у нас есть внутренняя библиотека, оплата участия в профильных конференциях, внутренние и внешние обучающие мероприятия.
• Умеем отдыхать: проводим корпоративы 2 раза в год, ходим на экскурсии, устаиваем мастер-классы и другие активности.
• Любим спорт: футбол, волейбол, настольный теннис, шахматный клуб, участвуем в «Гонке Героев» и велозаездах.
• Внутренняя мотивация: у нас есть своя корпоративная валюта, которую можно получать за активность и обменивать на крутой мерч.