описание
AI-продукту нужны точные критерии качества: насколько полезен ответ, справляется ли агент с задачей, что меняется для пользователя. Ищем аналитиков, которые превращают такие вопросы в исследования и обоснованные выводы
задачи
- Предстоит оценивать достоверность и качество ответов генеративных моделей, разрабатывать метрики и подходы к оценке LLM, анализировать данные и координировать процесс разметки.
- Вы будете оценивать, насколько хорошо работают ранжирование, быстрые ответы, ответы Алисы и другие AI-сценарии.
- Нужно будет исследовать работу агентов Алисы, качество органического ранжирования и путь пользователя в еком-сценариях.
- Предстоит исследовать, как люди взаимодействуют с AI, и оценивать качество этих сценариев.
- Также у нас есть много других задач в разных командах.
- Разрабатываем собственные бенчмарки: проверяем логику моделей, знание фактов, этичность, понимание контекста и реакцию на провокации
- Внедряем LLM-агентов в аналитику: с их помощью ищем и быстрее обрабатываем данные, оптимизируем скрипты и находим инсайты на дашбордах
- Ведём полный цикл анализа: выясняем, что ценно для пользователей, а после изменений измеряем их эффект. Связываем исследовательский вопрос с тем, как развивается продукт
требования
- Уверенно владеете Python и SQL или YQL, умеете самостоятельно работать с большими объёмами данных
- Знаете теорию вероятностей, математическую статистику и методы проверки гипотез, умеете проектировать и интерпретировать A/B-тесты и офлайн-эксперименты
- Занимались машинным обучением, понимаете устройство ML-моделей и метрики их качества
- Умеете формализовать исследовательский вопрос, обосновать выбор метрик, проверить их валидность и объяснить аномалии
- Самостоятельно проводили исследования полного цикла и готовили обоснованные выводы
- Будет плюсом: Работали с LLM, оценкой качества генерации или другими AI-системами; Работали с большими объёмами событийных данных и текстовых логов; Работали с DWH, BI-инструментами, продуктовыми воронками или деревьями метрик; Проектировали офлайн-метрики, бенчмарки или системы оценки качества моделей и продуктов; Автоматизировали аналитические процессы, разрабатывали и поддерживали собственные инструменты или пайплайны
условия
- Условий в вакансии нет
навыки
компания
Крупная российская IT-компания, создает сервисы для жизни: поиск, карты, такси, доставка еды, музыка, облачные технологии и ИИ. Помогает находить информацию, передвигаться и упрощать повседневные задачи
Подробнее о компании →