инженер технической поддержки LLM-сервисов

Описания нет

• Сопровождать виртуальные машины и контейнерные среды Kubernetes для инфраструктуры ML/LLM;
• Мониторить распределение ресурсов CPU/RAM/GPU;
• Диагностировать узкие места в инференсе моделей;
• Поддерживать стек Prometheus, VictoriaMetrics и Grafana;
• Писать запросы на PromQL и SQL для диагностики состояния сервисов;
• Настраивать SLO/SLI;
• Создавать дашборды для отслеживания задержки, пропускной способности и ошибок LLM;
• Сопровождать микросервисы и распределённую архитектуру;
• Трассировать запросы между сервисами;
• Анализировать логи при инцидентах;
• Оперативно реагировать на алерты;
• Проводить RCA;
• Разрабатывать инструкции для типовых сценариев отказов;
• Отлаживать API-запросы к LLM;
• Диагностировать ошибки токенизации, ограничения частоты запросов и тайм-ауты;
• Писать Python-скрипты для автоматизации диагностики и сбора метрик;
• Перезапускать зависшие задачи;
• Парсить логи;
• Взаимодействовать с командами разработки и инфраструктуры при сложных инцидентах;
• Передавать задачи в установленные сроки.

• Высшее образование;
• Опыт работы от года;
• Понимание принципов работы виртуальных машин и контейнеризации;
• Умение анализировать распределение ресурсов;
• Уверенное владение Prometheus и Grafana;
• Умение писать запросы на PromQL;
• Понимание метрик инференса: latency p95/p99, GPU utilization, queue size;
• Знание Loki для анализа логов и метрик;
• Базовое понимание векторных баз данных;
• Знание Python для автоматизации и написания диагностических скриптов;
• Понимание работы LLM-сервисов, инференса, токенов и контекстного окна;
• Аналитические способности и системное мышление;
• Умение работать с большими объёмами информации и в режиме многозадачности;
• Умение принимать самостоятельные решения;
• Нацеленность на результат;
• Хорошие навыки письменной и устной коммуникации;
• Английский B1;
• Будет плюсом опыт работы с движками LLM-инференса vLLM и SGLang, знание LangChain и LangFlow для понимания цепочек вызовов моделей, знание английского для чтения технической документации.

• Условия обсуждаются индивидуально;
• Пятидневный график.