ml инженер для LLM-продуктов

Команда GigaChat Data готовит данные для обучения линейки моделей LLM GigaChat, включая GigaChat Vision и GigaChat Audio. Команда создаёт и улучшает промпты, чтобы повышать качество взаимодействия моделей с пользователями.

• Разрабатывать и оптимизировать сложные системные и пользовательские промпты;
• Интегрировать LLM через API в продуктовые сценарии;
• Тестировать промпты, проводить эксперименты и оптимизировать их по метрикам качества;
• Проводить фактчекинг и ревью ответов моделей, устранять галлюцинации и улучшать стиль;
• Анализировать датасеты, выявлять и устранять узкие места;
• Работать в связке с AI-тренерами, ML-инженерами, аналитиками и продуктовой командой.

• Опыт работы с API LLM, включая GigaChat, OpenAI, Anthropic и локальные модели;
• Практический опыт создания и оптимизации системных и пользовательских промптов с применением методов few-shot, zero-shot, chain-of-thought и self-consistency;
• Умение настраивать параметры генерации temperature, top_p и max_tokens;
• Опыт адаптации промптов под разные сценарии использования модели;
• Опыт тестирования и оценки промптов;
• Уверенное владение Python для автоматизации, включая pandas, requests/httpx, работу с JSON и обработку данных;
• Понимание принципов RAG и tool-calling, умение проектировать и реализовывать соответствующие пайплайны;
• Знание подходов к интеграции инструментов для выполнения внешних функций и работы с API;
• Понимание принципов работы LLM, этапов обучения моделей и базовых статистических метрик в ML;
• Будет плюсом опыт работы с LangChain, GigaChain или аналогами, навык написания пайплайнов генерации и валидации промптов, знание английского языка на уровне чтения технической документации.

• Удалённый формат работы для жителей Санкт-Петербурга и Ленинградской области, в том числе из городов без районного коэффициента;
• Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития;
• Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа;
• Бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров;
• Вознаграждение за рекомендацию друзей в команду Сбера.