Наша команда обеспечивает доступность нейросетей для тысяч пользователей одновременно. Мы сопровождаем и улучшаем production-платформу для хостинга LLM: ее надежность, производительность и масштабирование. Кроме того, мы создаём прикладные AI-продукты на базе LLM. Ищем опытного инженера, которому интересно работать и с платформенной частью, и с продуктовой.
сегодня
LLM inference backend engineer for high-load systems
ориентир по рынку
вакансия
зп не указана
в среднем
291 559 ₽
мэтч
Загрузи резюме, чтобы видеть мэтчи с вакансиейЗагрузи резюме, чтобы видеть мэтч с вакой
подготовься к отклику
ai-инструментыЧтобы адаптировать резюме под вакансию или составить сопроводительное письмо, загрузи резюме
описание
задачи
- Проектирование и поддержка GPU-кластера инференса (Nvidia) для десятков тысяч пользователей: скалирование, балансировка и приоритизация запросов, пользовательские лимиты
- Оптимизация производительности: кэширование, батчинг, etc.
- Надежность и observability: обеспечение SLA и предотвращение регрессий
- Оценка и внедрение новых LLM
- Разработка AI-сервисов: AI Code Assistant (Co-Pilot), AI Chat, AI Code Review
- Проектирование пайплайнов автоматизаций: tool/function calling, обработка ошибок, управление контекстом/состоянием
- Интеграции: встраивание AI-сервисов в корпоративную среду (API, БД, legacy-системы)
- Проведение экспериментов, создание MVP и выстраивание пути доведения до продакшена
- Исследование новых технологий и подходов для улучшения продуктов
требования
- Опыт разработки на Python (5+ лет), знание стандартов: typing, асинхронность, паттерны проектирования
- Опыт создания высоконагруженных API (FastAPI или аналоги), работа с очередями, воркерами и фоновыми задачами
- Опыт построения gateway/router, управление ключами, маршрутизация, пользовательские лимиты
- Опыт поддержки высоконагруженных сервисов в продакшене: стабильность контрактов, обработка ошибок
- Опыт работы с инструментами инференса (vLLM, SGLang, OpenAI API), понимание их внутренней работы
- Опыт настройки инференса под highload: latency/throughput, управление GPU-ресурсами
- Опыт построения решений с tool/function calling: MCP, guardrails, борьба с галлюцинациями
- Будет плюсом: Насмотренность в применении AI агентов, мультиагентных систем, оркестрации инструментов; Понимание основных метрик качества LLM решений, опыт проведения A/B-тестов и офлайн-оценки: eval-сеты, human eval, etc; Опыт Lua-разработки; Опыт разработки и интеграции MCP
условия
- Условий в вакансии нет
навыки
Технологическая компания, разрабатывает и производит серверы, системы хранения данных и сетевое оборудование. Создает высокопроизводительные решения для бизнеса: от аналитики и виртуализации до телекоммуникаций.
Подробнее о компании →Если просят выйти из iCloud, прислать код из SMS, запустить или установить что-то, перевести деньги — не соглашайся: это мошенничество.
