mlops engineer

Описания нет

• Развертывать, сопровождать и обновлять LLM-инференс платформы (vLLM, SGLang, Ollama);
• Эксплуатировать и развивать AI-платформу в Kubernetes, включая масштабирование и управление GPU-ресурсами;
• Настраивать AI Gateway (LiteLLM): маршрутизацию запросов, API-ключи, квоты, лимиты и политики доступа;
• Оптимизировать производительность инференса: batching, KV Cache, semantic cache, снижение задержек и стоимости;
• Настраивать мониторинг, логирование и трассировку (OpenTelemetry, Langfuse, SigNoz, Prometheus/Grafana);
• Автоматизировать CI/CD процессы для инфраструктуры и моделей, поддерживать GitOps-подход;
• Интегрировать и сопровождать сервисы памяти, векторные хранилища и компоненты RAG/Agentic AI;
• Диагностировать и устранять инциденты, обеспечивать стабильность и высокую доступность LLM-платформы.

• Опыт в роли DevOps от 4 лет;
• Опыт администрирования Kubernetes в production, Docker, Helm, понимание GitOps-подходов;
• Опыт эксплуатации LLM inference-серверов (vLLM, SGLang, Ollama или TGI) и понимание их архитектуры;
• Понимание принципов работы LLM: токены, KV Cache, batching, streaming, квантование, RAG;
• Практический опыт работы с GPU (NVIDIA/CUDA), распределением ресурсов и оптимизацией производительности;
• Опыт настройки мониторинга и observability (Prometheus, Grafana, OpenTelemetry, SigNoz/Langfuse);
• Уверенные знания Linux, Docker, сетевого взаимодействия и диагностики инфраструктурных проблем;
• Навыки автоматизации на Python и работы с CI/CD (GitLab CI/GitHub Actions);
• Опыт работы с Redis, PostgreSQL и API-шлюзами;
• Будет плюсом знание LiteLLM, KEDA, Qdrant/Milvus.

• Условий в вакансии нет