backend разработчик LLM-инференса

Команда обеспечивает доступность нейросетей для тысяч пользователей одновременно, сопровождает и улучшает production-платформу для хостинга LLM, а также создаёт прикладные AI-продукты на базе LLM.

• Проектировать и поддерживать GPU-кластер инференса Nvidia для десятков тысяч пользователей;
• Масштабировать систему, балансировать и приоритизировать запросы, настраивать пользовательские лимиты;
• Оптимизировать производительность с помощью кэширования и пакетной обработки;
• Обеспечивать SLA и предотвращать регрессии;
• Оценивать и внедрять новые LLM;
• Разрабатывать AI-сервисы AI Code Assistant (Co-Pilot), AI Chat и AI Code Review;
• Проектировать пайплайны автоматизации с tool/function calling, обработкой ошибок и управлением контекстом и состоянием;
• Встраивать AI-сервисы в корпоративную среду через API, базы данных и legacy-системы;
• Проводить эксперименты и создавать MVP;
• Выстраивать путь доведения решений до продакшена;
• Исследовать новые технологии и подходы для улучшения продуктов.

• Опыт разработки на Python от 5 лет;
• Знание typing, асинхронности и паттернов проектирования;
• Опыт создания высоконагруженных API на FastAPI или аналогах;
• Опыт работы с очередями, воркерами и фоновыми задачами;
• Опыт построения gateway/router, управления ключами, маршрутизации и пользовательскими лимитами;
• Опыт поддержки высоконагруженных сервисов в продакшене;
• Умение обеспечивать стабильность контрактов и обрабатывать ошибки;
• Знание инструментов инференса vLLM, SGLang и OpenAI API, понимание их внутренней работы;
• Опыт настройки инференса под highload с учётом latency, throughput и управления GPU-ресурсами;
• Опыт построения решений с tool/function calling, MCP и guardrails;
• Умение работать с проблемой галлюцинаций;
• Будет плюсом опыт применения AI-агентов, мультиагентных систем и оркестрации инструментов, понимание метрик качества LLM-решений, опыт A/B-тестов и офлайн-оценки, Lua-разработка, разработка и интеграция MCP.

• ДМС со стоматологией с первых дней работы;
• Льготные условия страхования близких;
• Возможность взять day off для восстановления здоровья;
• Консультации юристов;
• Сессии с психологом;
• Помощь экспертов по ЗОЖ и управлению личными финансами;
• Премии за патенты и изобретения;
• Учебный портал с лекциями от экспертов;
• Участие в конференциях;
• Изучение английского;
• Дополнительное профессиональное обучение на внешних курсах;
• Частичная компенсация тренировок, творческих уроков и участия в соревнованиях;
• Скидки на рестораны, фитнес-клубы, сервисы доставки и онлайн-кинотеатры;
• Гибридный формат и работа в офисе в Москве или Нижнем Новгороде.