системный инженер для LLM-платформ

Okko разрабатывает прикладные LLM-решения для внутренних продуктов и процессов: от ассистентов и автоматизации рутины до интеграции моделей с корпоративными системами. Фокус команды — надёжные прикладные сервисы.

• Проектировать и поддерживать MCP-серверы на Python и TypeScript, включая инструменты для LLM, авторизацию и интеграцию с корпоративными API;
• Поддерживать и развивать единый реестр навыков, плагинов и MCP-серверов;
• Участвовать в разработке безопасной среды исполнения агентов;
• Участвовать в выводе решений в продуктивную и предпродуктивную среду: от прототипа до сервиса и мониторинга качества, задержки и стоимости;
• Работать с кодовой базой и документацией;
• Предлагать решения с учётом ограничений инфраструктуры Okko.

• Высшее техническое образование;
• Уверенное знание Python, опыт бэкенд-разработки и интеграций с API;
• Понимание современных LLM и приложений на их основе: prompt engineering, function/tool calling, RAG там, где нужен контекст;
• Опыт работы с Model Context Protocol (MCP);
• Опыт интеграций через REST API и настройки доступа;
• Сильные навыки CI/CD: Docker, Kubernetes, GitLab CI, Jenkins;
• Опыт работы с трейсингом и логированием в контексте LLM: Langfuse, LangSmith, OpenTelemetry;
• Умение писать поддерживаемый код, тесты для критичных сценариев и документацию;
• Опыт настройки инференса LLM: vLLM, SGLang, TensorRT;
• Будет плюсом опыт работы с векторными базами данных Faiss, Chroma, Qdrant, опыт с LLM-платформами OpenWebUI и библиотеками оркестрации, включая чат-интерфейсы, LiteLLM, LangChain и аналоги.

• Можно работать удалённо;
• Москва или Питер;
• Необходимое оборудование и программное обеспечение для работы;
• Официальное трудоустройство;
• ДМС со стоматологией;
• Офисный врач;
• Доплата больничного листа;
• Корпоративные скидки;
• Льготные условия ипотеки в рамках зарплатного проекта;
• Бесплатная подписка на сервисы партнёров;
• Корпоративный спорт;
• Насыщенная корпоративная жизнь;
• Электронная библиотека издательства МИФ почти с 2 тыс. единиц контента.