prompt-инженер

В SimbirSoft более 1500 разработчиков ежедневно решают задачи, которые делают жизнь миллионов пользователей комфортнее.

• Прототипировать и тестировать решения на базе LLM, управлять их качеством
• Настраивать поведение моделей без дообучения: экспериментировать с промптами, контекстом, параметрами моделей и архитектурой LLM-пайплайнов
• Участвовать вместе с продактами в разработке диалоговых сценариев
• Оценивать качество LLM-решений на всех этапах: собирать и обновлять наборы примеров и валидационные выборки, создавать метрики и тесты, настраивать оценку с помощью LLM
• Разрабатывать инструкции для разметчиков и участвовать в разметке, в том числе самостоятельно размечать наборы примеров
• Анализировать логи, трассировки и отзывы о работе ассистентов в продакшене и улучшать их качество на основе полученных данных
• Интегрировать LLM в продукты вместе с разработчиками

• Опыт решения реальных бизнес-задач с использованием LLM от 1 года
• Хорошее знание Python и опыт работы с Jupyter, pandas и matplotlib
• Опыт работы с SQL и данными, умение собирать наборы данных и проводить аналитику
• Опыт работы с OpenAI API и аналогами
• Навыки тестирования и регрессионной проверки промптов, понимание методов оценки LLM-систем: метрик, оценки людьми, оценки с помощью LLM и A/B-тестирования
• Будет плюсом: опыт автоматической оптимизации промптов, организации разметки и автоматизации оценок, работы с инструментами валидации и наблюдаемости, фреймворками для оркестрации LLM, агентными системами и RAG

• Гибкий график
• Возможность работать над проектами разных отраслей и пробовать новые технологии
• Просторные офисы с зонами для совместной работы
• Наставничество, сертификация за счёт компании, участие в конференциях и изучение английского языка
• Внутренние и внешние встречи для обмена опытом, хакатоны и доклады по развитию профессиональных и личных навыков
• Более 50 клубов по интересам и профессиональных сообществ
• Корпоративная база знаний и социальная сеть для общения с сотрудниками