python developer

Описания нет

• Повышать качество RAG-агентов на направлениях поиска по технической, нормативной и бухгалтерской документации;
• Выполнять промпт-инжиниринг и контекст-инжиниринг для всех агентов команды;
• Подготавливать эталонные наборы оценки качества;
• Реализовывать LLM-as-a-judge как методологию автоматических регрессионных проверок;
• Настраивать защиты для production-агентов, включая фильтры от инъекций, валидацию структуры и контента выходов, защиту от утечек персональных данных и anti-hallucination механизмы;
• Проводить A/B-тестирование промптов и моделей для подбора лучших конфигураций;
• Выполнять тюнинг качества по сигналам обратной связи пользователей и трассировкам из Langfuse.

• Опыт коммерческой разработки на Python от 2 лет;
• Практический опыт построения и поддержки RAG-систем в продакшене: эмбеддинги, векторные базы (Qdrant, FAISS или pgvector), переранжирование, чанкинг;
• Практический опыт оценки качества LLM-систем: подготовка эталонных наборов, offline-метрики, LLM-as-judge, регрессионные проверки, работа с фреймворками Ragas, DeepEval или аналогами;
• Практический опыт настройки защит для LLM-приложений: защита от инъекций, валидация структуры и контента выходов, защита от утечек персональных данных;
• Опыт промпт-инжиниринга и контекст-инжиниринга в реальных проектах: итеративная настройка промптов, structured output, function calling;
• Понимание архитектуры RAG: стратегии нарезки документов, метаданные, выбор моделей эмбеддингов, переранжирование, точность ссылок на источник;
• Практический опыт работы хотя бы с одним LLM-фреймворком: LangChain, LangGraph, PydanticAI, OpenAI API или аналоги;
• Практический опыт A/B-тестирования промптов и моделей в продакшене;
• Опыт работы с агентскими протоколами (MCP) или собственным tool-layer для агентов;
• Базовое знание SQL и опыт работы с реляционными базами.

• Условий в вакансии нет