ml инженер в высоконагруженных проектах

SimbirSoft разрабатывает программное обеспечение под заказ. Более 1500 разработчиков компании создают решения для миллионов пользователей и работают над высоконагруженными проектами из разных сфер бизнеса.

• Прототипировать, тестировать и управлять качеством решений на базе LLM;
• Настраивать поведение моделей без fine tuning, экспериментируя с промптами, контекстом, параметрами моделей и архитектурой LLM-пайплайнов;
• Участвовать вместе с продактами в дизайне диалоговых сценариев;
• Тестировать и оценивать качество LLM-решений на всех этапах;
• Собирать и регулярно актуализировать golden-сеты и валидационные выборки;
• Создавать метрики и бенчмарки, настраивать llm-as-a-judge;
• Разрабатывать инструкции для разметчиков и участвовать в разметке;
• Самостоятельно размечать golden-сеты;
• Анализировать логи, трейсы и обратную связь по работе ассистентов в продакшене;
• Улучшать качество ассистентов на основе найденных инсайтов;
• Интегрировать LLM в продукты вместе с разработчиками.

• От 1 до 3 лет опыта решения реальных бизнес-задач с использованием LLM;
• Хорошее знание Python;
• Опыт работы с аналитическими инструментами Jupyter, pandas и matplotlib;
• Опыт работы с SQL и данными;
• Умение собирать датасеты и проводить аналитику;
• Опыт работы с OpenAI API и аналогами;
• Навыки тестирования и регрессионных проверок промптов;
• Понимание подходов к оценке LLM-систем: офлайн-метрики, оценка людьми, llm-as-a-judge и A/B-тестирование;
• Будет плюсом опыт использования алгоритмов автоматической оптимизации промптов, организации разметки, построения golden-датасетов, автоматизации оценок, использования фреймворков валидации и инструментов наблюдаемости, фреймворков оркестрации LLM, построения сложных агентных систем и RAG.

• Гибкий график работы;
• Возможность работать над IT-решениями для разных отраслей и пробовать новые технологии;
• Выстроенные процессы удалённой работы;
• Просторные офисы с зонами коворкинга;
• Возможность профессионального развития до тимлида, архитектора или full-stack разработчика;
• Система наставничества;
• Сертификация за счёт компании;
• Участие в конференциях;
• Изучение английского языка;
• Внутренние и внешние митапы, хакатоны и доклады по развитию hard и soft skills;
• Более 50 клубов по интересам и профессиональных сообществ;
• Корпоративная база знаний и социальная сеть для общения с сотрудниками.