ml инженер на базе LLM

Компания разрабатывает решения на базе LLM, уделяя основной фокус прототипированию, тестированию и управлению качеством AI-решений.

• Прототипировать, тестировать и контролировать качество решений на базе LLM;
• Настраивать поведение моделей без Fine-tuning;
• Экспериментировать с CoT, Tree-of-Thoughts, Few-shot, Structured Outputs, Tool Calling и другими подходами;
• Совместно с Product-командой проектировать диалоговые сценарии;
• Тестировать и оценивать качество LLM-решений на всех этапах;
• Собирать и регулярно обновлять Golden Sets;
• Разрабатывать инструкции для разметчиков и участвовать в разметке данных;
• Анализировать Logs, Traces и пользовательский Feedback по работе AI-ассистентов в Production;
• Совместно с разработчиками интегрировать LLM в продукты;
• Проводить тестирование и Regression Checks промптов.

• 1–3 Года опыта решения реальных бизнес-задач с использованием LLM;
• Хорошее знание Python;
• Опыт работы с Jupyter, Pandas и Matplotlib;
• Опыт работы с SQL и данными;
• Практический опыт с OpenAI API и аналогами;
• Навыки тестирования промптов и проведения Regression Checks;
• Понимание современных подходов к Prompt Engineering.

• Работа с современными LLM и AI-инструментами;
• Участие в разработке Production AI-решений.