Продуктовый аналитик AI-ассистентов

Команда разрабатывает AI-ассистентов на базе больших языковых моделей. General-ассистент выступает точкой входа для пользователя, отвечая на общие вопросы и маршрутизируя запросы в специализированные вертикальные навыки, такие как шопинг или путешествия. Сервис обеспечивает единый стиль общения, качество базового опыта и целостность взаимодействия со всеми ассистентами экосистемы.

• Создавать и развивать систему оценки ассистента, включая разработку метрик, создание наборов запросов, анализ результатов и внедрение фич в продукт;
• Организовывать разметку качества с привлечением краудсорсеров;
• Строить автоматизированные пайплайны с использованием подхода LLM-as-a-Judge;
• Рассчитывать продуктовые метрики и формировать регулярную отчетность;
• Искать инсайты в диалогах пользователей, проектировать эксперименты и предлагать способы улучшения качества продукта;
• Собирать данные для алаймента языковой модели под задачи ассистентов.

• Опыт работы на стыке продуктовой аналитики и Data Science в таких областях, как чат-боты, рекламные аукционы, поисковые системы или генеративные технологии;
• Уверенное владение SQL и Python, приоритет отдается навыкам работы с Pandas;
• Навыки написания качественного аналитического кода для продакшена;
• Интерес к работе с текстовыми данными в LLM-продуктах;
• Активное использование LLM в работе и повседневной жизни;
• Будет плюсом наличие самостоятельных pet-проектов с ML- и LLM-агентами, понимание современных подходов к оценке LLM, включая LLM-as-a-Judge, создание инструкций для разметчиков, проведение офлайн- и онлайн-экспериментов, а также методологии human-in-the-loop.

• ДМС со стоматологией, включая чекапы, компенсацию лекарств и льготное страхование для близких;
• Страхование от несчастных случаев и болезней;
• Возможности профессионального роста через курсы, менторство и регулярные ревью;
• Доступ к онлайн-консультациям с психологами, юристами и финансовыми консультантами;
• Компенсация спортивных абонементов, доступ к приложению для онлайн-занятий и командные тренировки;
• Питание в офисе, наличие кухонь и кофеен;
• 3 Дополнительных дня к отпуску с возможностью отдыха или получения денежной компенсации;
• Специальные тарифы на продукты банка и скидки от партнеров.