ml engineer для GenAI-продуктов

NLP-команда занимается извлечением информации из документов, диалогов и текстов различной природы. Команда создаёт готовые продукты с LLM и self-service для бизнеса, где каждый может создавать нужные сценарии в режиме No-code.

• Проектировать и калибровать judge-пайплайны: рубрики, эталонную разметку, согласованность с людьми, борьбу с позиционным смещением и смещением по длине;
• Строить RAG-поиск для дублей и противоречий: чанкинг, гибридный поиск, реранкинг, проверку противоречий на уровне утверждений;
• Делать регрессионные тесты знаний: golden set, пороги, прогон на каждое изменение промпта или модели;
• Ловить галлюцинации: извлекать утверждения, привязывать их к источнику и проверять;
• Дообучать и дистиллировать judge-модели для снижения стоимости и задержки без потери качества;
• Собирать мультиагентные пайплайны с guardrails и контролем стоимости прогона.

• Высшее образование в математике, физике, информатике или профильном data science;
• От 5 лет опыта в ML, включая не менее полутора лет работы с LLM в продакшене;
• Опыт работы с RAG в продакшене, включая метрики качества, нагрузку и историю улучшений;
• Знание Fine-tuning: SFT, LoRA/QLoRA, желательно DPO, а также понимание, когда дообучение не нужно;
• Опыт построения и калибровки LLM-as-judge;
• Знание guardrails и методов детекции галлюцинаций;
• Опыт создания мультиагентных пайплайнов: оркестрация, обработка отказов, ограничение стоимости;
• Умение писать на Python код для продакшена, использовать тесты, проводить ревью и соблюдать код-стайл;
• Английский для чтения статей и документации;
• Будет плюсом опыт Python-бэкендера с FastAPI, асинхронностью, очередями, PostgreSQL и векторными хранилищами, знание графов знаний и онтологий, опыт с NLI, извлечением фактов и разметчиками, публикации, доклады и open source.

• Гибридный формат работы;
• Годовая премия;
• Корпоративный спортзал и зоны отдыха;
• Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития;
• Регулярные митапы и развитое DS-сообщество;
• Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа;
• Гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ;
• Подписка Прайм с возможностью совместного использования с тремя близкими;
• Вознаграждение за рекомендацию друзей в команду Сбера.