продуктовый аналитик LLM-ассистентов

Команда разрабатывает экосистему AI-ассистентов для компании на базе LLM, включающую направления Дженерал, Шопинг, Инвест и Джуниор. Деятельность охватывает продуктовую аналитику, проведение исследований, АБ-тестов и создание метрик, а также аналитику качества, включая настройку интегральной оценки через LLM-as-a-judge и ассесоров.

• Проводить исследования и АБ-тесты;
• Создавать нетривиальные метрики для продукта и работы ассистентов;
• Искать причинно-следственные связи между онлайн и оффлайн метриками;
• Настраивать интегральную оценку качества работы моделей;
• Предлагать гипотезы по развитию продукта.

• Опыт работы с LLM-продуктами и текстовыми данными;
• Продуктовое мышление и самостоятельность;
• Будет плюсом наличие Pet-проектов с LLM-агентами, сильный академический трек, опыт в продуктовой аналитике и Data Science (чат-боты, поиск, рекламные аукционы, генеративные модели), а также опыт работы в сферах kidtech, e-commerce или fintech.

• Премии;
• Условий в вакансии нет.