mlops engineer

Инвестиционная платформа ЮЛ в Сбере представляет собой систему, автоматизирующую жизненный цикл инвестиционной сделки, включая поиск сделок и клиентов с помощью AI, управление процессом заключения сделок, финансовые расчеты, оценку портфеля и построение отчетности. Платформа является уникальной разработкой на российском рынке для выдачи и сопровождения инвестиционного финансирования юридическим лицам.

• Развертывать и конфигурировать Open Source LLM на собственных мощностях;
• Настраивать высокопроизводительные инференс-серверы;
• Оптимизировать использование GPU для достижения требуемой пропускной способности и задержек;
• Настраивать системы observability для слоя инференса;
• Реализовывать health checks для инференс-серверов;
• Автоматизировать оповещения при деградации производительности или падении сервисов;
• Настраивать сквозную трассировку по всей цепочке сервисов;
• Развивать дашборды в Grafana для мониторинга агентов и инфраструктуры;
• Внедрять кастомные метрики для агентов;
• Обеспечивать корреляцию логов и трейсов для поиска инцидентов;
• Настраивать технические и качественные алерты;
• Работать с централизованным Prompt Hub;
• Автоматизировать интеграцию E2E-тестов с системой трассировки;
• Поднимать и конфигурировать бэкенд-серверы для работы агентов;
• Контейнеризировать и оркестровать компоненты системы;
• Управлять окружениями и CI/CD пайплайнами;
• Разрабатывать агентов в структурированном формате Markdown;
• Создавать системные промпты и определять инструменты агентов;
• Интегрировать агентов с внешними API, базами данных и DevOps-инструментами;
• Разрабатывать и поддерживать пайплайны CI/CD;
• Внедрять новые инструменты для автоматизации и мониторинга;
• Взаимодействовать с командами разработки, тестирования и эксплуатации.

• Опыт развертывания и сопровождения Open Source LLM в продакшене;
• Глубокое практическое знание инструментов инференса: vLLM, TGI или аналогичных;
• Понимание механизмов LLM инференса: KV-cache, continuous batching, quantization;
• Опыт написания агентов и промптов в продакшн-среде, знание концепции Harness Engineering;
• Уверенное владение Python;
• Экспертный опыт работы с Docker;
• Опыт управления кластерами Kubernetes, написания манифестов и работы с Helm;
• Опыт построения и поддержки пайплайнов в Jenkins, GitLab CI;
• Уверенная работа с Git;
• Опыт работы с СУБД в контексте высоконагруженных систем;
• Опыт построения observability-стека для микросервисных или агентных систем;
• Навыки настройки сквозной трассировки, метрик, логирования и алертинга;
• Уверенное владение инструментами: Grafana, Prometheus, Loki, Jaeger, OpenTelemetry;
• Будет плюсом опыт работы с фреймворками для агентов, знание подходов к fine-tuning и evaluation LLM, опыт управления GPU-инфраструктурой, навыки администрирования Linux, навыки работы с генеративными AI-моделями.

• Комфортный современный офис;
• Корпоративный спортзал и зоны отдыха;
• Более 400 образовательных программ СберУниверситета;
• Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа;
• Бесплатная подписка Прайм;
• Вознаграждение за рекомендацию друзей в команду.