ml engineer для продуктов на основе LLM

NLP-команда занимается извлечением информации из документов, диалогов и текстов разной природы. Она создаёт готовые продукты на основе LLM и инструменты самообслуживания, позволяющие бизнесу создавать нужные сценарии без кода.

• Проектировать и калибровать оценочные конвейеры: рубрики, эталонную разметку, согласованность с оценками людей, методы борьбы с позиционным смещением и смещением по длине;
• Строить RAG-поиск дублей и противоречий: настраивать разбиение на фрагменты, гибридный поиск и повторное ранжирование, проверять противоречия на уровне утверждений;
• Создавать регрессионные тесты знаний с эталонными наборами, порогами и проверками после каждого изменения запроса или модели;
• Выявлять галлюцинации: извлекать утверждения, связывать их с источниками и проверять;
• Дообучать и дистиллировать оценочные модели, снижая стоимость и задержку без потери качества;
• Собирать мультиагентные конвейеры с защитными механизмами и контролем стоимости запуска.

• Высшее образование в математике, физике, информатике или профильной науке о данных;
• Опыт в машинном обучении от 5 лет, из них не менее полутора лет — с LLM в продуктивной среде;
• Опыт работы с RAG в продуктивной среде, включая метрики качества, нагрузку и историю улучшений;
• Опыт тонкой настройки моделей: SFT, LoRA/QLoRA; понимание DPO будет плюсом;
• Понимание, когда дообучение не требуется;
• Опыт построения и калибровки оценок LLM-моделями, понимание их ошибок и способов их выявления;
• Опыт работы с защитными механизмами и выявлением галлюцинаций;
• Опыт создания мультиагентных конвейеров: оркестрация, обработка отказов, ограничение стоимости;
• Умение писать производственный код на Python, писать тесты, проводить ревью и соблюдать стиль кода;
• Английский для чтения статей и документации;
• Готовность иногда общаться с контрагентами;
• Будет плюсом опыт разработки бэкенда на Python с FastAPI, асинхронностью, очередями, PostgreSQL и векторными хранилищами, знание графов знаний и онтологий, NLI, извлечения фактов и работы с разметчиками, наличие публикаций, докладов или проектов с открытым исходным кодом.

• Годовая премия;
• Корпоративный спортзал и зоны отдыха;
• Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития;
• Регулярные встречи и развитое сообщество специалистов по науке о данных;
• Расширенная программа ДМС, льготное страхование для семьи и корпоративная пенсионная программа;
• Скидка по ипотечному кредиту, равная трети ключевой ставки ЦБ;
• Подписка Прайм с возможностью совместного использования с тремя близкими;
• Вознаграждение за рекомендацию друзей в команду Сбера.