mlops engineer LLM-платформы в финтех

Команда разрабатывает систему, автоматизирующую полный жизненный цикл инвестиционной сделки: поиск потенциальных сделок и клиентов с помощью алгоритмов и AI, заключение инвестиционных сделок, финансовые расчёты, оценку портфеля, отчётность и инвестиционные сервисы для компаний. Инвестиционная платформа предназначена для выдачи и сопровождения инвестиционного финансирования юридическим лицам.

• Развертывать и конфигурировать Open Source LLM на собственных мощностях;
• Настраивать высокопроизводительные инференс-серверы;
• Оптимизировать использование GPU для достижения требуемых пропускной способности и задержек;
• Настраивать observability для слоя инференса;
• Реализовывать health checks для инференс-серверов;
• Автоматизировать оповещения при деградации производительности или падении сервисов;
• Настраивать сквозную трассировку по всей цепочке сервисов;
• Развивать дашборды в Grafana для мониторинга агентов, инфраструктуры и компонентов платформы;
• Внедрять кастомные метрики для агентов без изменения их кода;
• Обеспечивать корреляцию логов и трейсов для быстрого поиска инцидентов;
• Настраивать технические и качественные алерты;
• Работать с централизованным Prompt Hub для хранения и обновления промптов без деплоя;
• Автоматизировать интеграцию E2E-тестов с системой трассировки;
• Поднимать и конфигурировать бэкенд-серверы для работы агентов;
• Контейнеризировать и оркестрировать компоненты системы;
• Управлять окружениями dev, stage и prod;
• Поддерживать CI/CD-пайплайны для доставки кода агентов и обновлений инфраструктуры;
• Разрабатывать агентов в структурированном формате Markdown по принципам Claude/Harness Engineering;
• Создавать системные промпты, определения инструментов и границы поведения агента;
• Интегрировать агентов с внешними API, базами данных и DevOps-инструментами;
• Разрабатывать и поддерживать CI/CD-пайплайны;
• Внедрять новые инструменты для автоматизации и мониторинга;
• Взаимодействовать с командами разработки, тестирования и эксплуатации.

• Опыт развертывания и сопровождения Open Source LLM в продакшене;
• Глубокое практическое знание инструментов инференса: vLLM, TGI, TensorRT-LLM или sglang;
• Понимание механизмов LLM-инференса: KV-cache, continuous batching, quantization, GGUF, GPTQ, AWQ;
• Опыт написания агентов и промптов в продакшн-среде;
• Знакомство с концепцией Harness Engineering или готовность быстро в неё погрузиться;
• Уверенное владение Python;
• Экспертный опыт работы с Docker;
• Опыт управления кластерами Kubernetes, манифестами и Helm;
• Опыт построения и поддержки пайплайнов в Jenkins и GitLab CI;
• Уверенная работа с Git, стратегиями ветвления и код-ревью;
• Опыт работы с PostgreSQL, ClickHouse или аналогичными СУБД в высоконагруженных системах;
• Опыт построения и поддержки observability-стека для микросервисных или агентных систем;
• Навыки настройки сквозной трассировки, метрик, логирования и алертинга;
• Уверенное владение Grafana, Prometheus, Loki, Jaeger и OpenTelemetry;
• Будет плюсом опыт работы с фреймворками для агентов, знание подходов к fine-tuning и evaluation LLM, опыт управления GPU-инфраструктурой, навыки администрирования Linux, навыки работы с генеративными AI-моделями.

• Гибридный формат работы в офисе рядом с м. Ленинский проспект по адресу: ул. Вавилова, 19;
• Корпоративный спортзал и зоны отдыха;
• Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития;
• Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа;
• Бесплатная подписка Прайм;
• Вознаграждение за рекомендацию друзей в команду Сбера.