бэкенд-разработчик для LLM Gateway

Наша команда развивает LLM Gateway — единую точку доступа в Авито к языковым моделям. Мы помогаем продуктовым командам быстро и безопасно получать доступ к подходящим моделям, прозрачно управлять лимитами, видеть стоимость каждого запроса и мониторить поведение моделей в продакшене.

• развивать платформу LLM Gateway для всего Авито, чтобы создавать продукты с LLM было быстро и удобно
• автоматизировать выдачу и настройку доступов к моделям
• рассчитывать стоимость LLM-вызова
• настраивать бюджетные лимиты для клиентов и приоритеты
• развивать динамическую балансировку трафика между LLM-моделями
• определять SLA платформы и методику его расчёта
• настраивать мониторинг и алёрты
• поддерживать выполнение SLA
• автоматизировать развёртывание моделей
• открывать доступ к моделям для пользователей в инфраструктуре Авито
• взаимодействовать с DS-инженерами, погружаться в работу LLM, следить за развитием индустрии и внедрять новые технологии

• лидировали крупные стримы с высокой степенью неопределённости
• собирали требования
• планировали работу
• декомпозировали задачи
• отвечали за реализацию и мониторинг результатов
• поддерживали критическую высоконагруженную инфраструктуру
• настраивали мониторинг и алёрты
• участвовали в дежурствах 24/7
• программируете на Python или Go от 5 лет
• имеете опыт в MLOps или LLMOps: поднимали и поддерживали инфраструктуру для автоматизации работы с ML- и LLM-моделями
• понимаете базовые принципы работы LLM: чем prefill отличается от decode, зачем нужен KV-cache, что такое TTFT
• Будет плюсом: работали с LLM API и LLM Gateway или аналогичными решениями, например LiteLLM; создавали внутренние платформенные решения; работали с системами мониторинга LLM, например Langfuse или Opik; создавали и поддерживали административные интерфейсы для внутренних пользователей; работали с Kubernetes и GPU; работали с DWH, например ClickHouse или Trino

• расширенная забота о здоровье: ДМС, страхование жизни, онкострахование
• сервис психологической поддержки, а также финансовые, юридические и ЗОЖ-консультации для вас и ваших близких
• корпоративный спорт: групповые тренировки, велбиинг-приложение
• спецпредложения от партнёров и скидки на сервисы Авито: бронирование жилья, услуги продвижения, ипотечное страхование
• компенсация питания