описание
Мы строим Harness-платформу Сбера — слой между моделью и продуктом: агентный рантайм, инструменты, память, контекст, адаптация и оценка качества. На этой платформе продуктовые команды Сбера запускают свои AI-сценарии. Им не нужно писать всё с нуля: решение собирается из готовых проверенных блоков. Ищем человека, который возьмёт на себя три ключевые части Harness: Качество ИИ-помощника.
задачи
- Спроектировать и запустить систему оценки качества ИИ-помощника: eval-наборы по бизнес-сценариям, LLM-as-a-judge, human eval, регрессионные гейты на релиз.
- Самостоятельно собрать первые рабочие версии пайплайнов из готовых компонентов платформы: обучение и оценку LoRA-адаптеров, версионирование, деплой, мультиадаптерный инференс.
- Разработать архитектуру памяти: долгосрочную и сессионную память, персонализацию, память организации.
- Отвечать за качество извлечения и применения знаний, а также за приватность и разграничение доступа.
- Сделать качество агентных сценариев измеримым: работу с инструментами и корпоративными системами, многошаговые задачи, сценарии с длинным контекстом.
- Лично провести первые продуктовые команды через платформу и на их кейсах понять, что действительно нужно стандартизировать.
- Собрать и вырастить команду направления
- Превратить созданное в self-service: инструменты, стандарты и документацию, с которыми продуктовые команды справляются сами.
- Связать технические метрики с продуктовыми и бизнес-результатами и защищать их на уровне руководства.
- Формировать культуру, в которой о качестве судят по данным, а не по ощущениям
требования
- Сильный инженерный бэкграунд в ML/LLM и готовность работать руками: Python, PyTorch, экосистема LoRA/PEFT, инференс-фреймворки (vLLM и аналоги).
- Глубокое понимание современного AI-стека: post-training (SFT, DPO, RL), LoRA/PEFT, RAG, агентные архитектуры, оценка LLM.
- Опыт доведения ML/LLM-решений до продакшена, а не только исследований.
- Опыт технического лидерства: вы задавали архитектуру и направление для других инженеров.
- Готовность в перспективе расти в управлении: нанимать, развивать людей, договариваться с заказчиками и руководством.
- Умение работать с внутренними заказчиками, переводить размытый запрос «чтобы помощник отвечал лучше» в измеримые критерии.
- Опыт построения eval-систем для LLM-продуктов или агентов.
- Опыт с системами памяти для LLM: retrieval, графы знаний, суммаризация и сжатие контекста, персонализация.
- Опыт с multi-LoRA serving и дообучением моделей под домены в продакшене.
- Опыт создания платформенных продуктов для других команд.
- Понимание корпоративной специфики: безопасность, доступ к данным, регуляторные требования.
- Опыт запуска направления с нуля.
- Активное личное использование агентных продуктов (Claude Code, Cursor, Codex, ассистентов с памятью) и понимание, за счёт чего они хорошо работают.
- Будет плюсом: Опыт руководства командой — большое преимущество
условия
- Условий в вакансии нет
навыки
компания
Крупнейший российский банк и экосистема. Предоставляет банковские услуги: кредиты, вклады, карты, ипотека. Развивает сервисы: доставка, здоровье, развлечения, облачные технологии и ИИ. Удобно для финансов и повседневных задач.
Подробнее о компании →