data analyst умности Алисы

Алиса — голосовой ассистент, которым ежедневно пользуются миллионы людей. Новая архитектура позволяет большой языковой модели самостоятельно вызывать инструменты для выполнения пользовательских запросов на умных устройствах.

• Анализировать качество работы модели, пользовательские сценарии и проблемные случаи
• Сегментировать ошибки и DSAT, искать закономерности в данных
• Формулировать гипотезы для повышения качества и оценивать влияние изменений на пользовательский опыт
• Переводить ключевые сценарии Алисы на новую архитектуру LLM
• Анализировать пользовательские запросы и сценарии
• Помогать проектировать инструменты и сценарии вызова функций
• Выявлять точки роста, собирать данные для обучения и приёмки моделей
• Участвовать в формировании наборов для оценки и метрик
• Развивать систему оценки качества: офлайн- и онлайн-метрики, сценарные проверки, эксперименты A/B, мониторинг ухудшений и аналитические панели

• Более двух лет опыта работы аналитиком данных, продуктовым аналитиком или аналитиком в продукте на основе данных
• Опыт работы с LLM или генеративным ИИ, помимо решения бытовых задач
• Уверенное владение SQL и Python для анализа данных
• Умение работать с большими объёмами логов и событийных данных
• Опыт продуктовой аналитики и поиска выводов по данным
• Знание основ статистики и A/B-тестирования
• Умение формулировать продуктовые гипотезы и оценивать их эффект
• Системное мышление и умение разбираться в сложных многокомпонентных продуктах
• Опыт оценки качества LLM, включая LLM-as-a-judge, evals и RAG
• Знакомство с концепциями Agentic AI и tool calling
• Опыт построения аналитических панелей
• Опыт работы с неструктурированными данными и текстовыми логами
• Будет плюсом: опыт работы с LLM-продуктами или AI-ассистентами, NLP/NLU-продуктами или голосовыми ассистентами, понимание цикла обучения и улучшения ML/LLM-моделей

• Условий в вакансии нет