дата-аналитик для AI-продуктов

грейд
senior
формат
гибрид
страна
Россия
опубликована
вчера

описание

AI-продукту нужны точные критерии качества: насколько полезен ответ, справляется ли агент с задачей, что меняется для пользователя. Ищем аналитиков, которые превращают такие вопросы в исследования и обоснованные выводы

задачи

  • Предстоит оценивать достоверность и качество ответов генеративных моделей, разрабатывать метрики и подходы к оценке LLM, анализировать данные и координировать процесс разметки.
  • Вы будете оценивать, насколько хорошо работают ранжирование, быстрые ответы, ответы Алисы и другие AI-сценарии.
  • Нужно будет исследовать работу агентов Алисы, качество органического ранжирования и путь пользователя в еком-сценариях.
  • Предстоит исследовать, как люди взаимодействуют с AI, и оценивать качество этих сценариев.
  • Также у нас есть много других задач в разных командах.
  • Разрабатываем собственные бенчмарки: проверяем логику моделей, знание фактов, этичность, понимание контекста и реакцию на провокации
  • Внедряем LLM-агентов в аналитику: с их помощью ищем и быстрее обрабатываем данные, оптимизируем скрипты и находим инсайты на дашбордах
  • Ведём полный цикл анализа: выясняем, что ценно для пользователей, а после изменений измеряем их эффект. Связываем исследовательский вопрос с тем, как развивается продукт

требования

  • Уверенно владеете Python и SQL или YQL, умеете самостоятельно работать с большими объёмами данных
  • Знаете теорию вероятностей, математическую статистику и методы проверки гипотез, умеете проектировать и интерпретировать A/B-тесты и офлайн-эксперименты
  • Занимались машинным обучением, понимаете устройство ML-моделей и метрики их качества
  • Умеете формализовать исследовательский вопрос, обосновать выбор метрик, проверить их валидность и объяснить аномалии
  • Самостоятельно проводили исследования полного цикла и готовили обоснованные выводы
  • Будет плюсом: Работали с LLM, оценкой качества генерации или другими AI-системами; Работали с большими объёмами событийных данных и текстовых логов; Работали с DWH, BI-инструментами, продуктовыми воронками или деревьями метрик; Проектировали офлайн-метрики, бенчмарки или системы оценки качества моделей и продуктов; Автоматизировали аналитические процессы, разрабатывали и поддерживали собственные инструменты или пайплайны

условия

  • Условий в вакансии нет

навыки

компания

Крупная российская IT-компания, создает сервисы для жизни: поиск, карты, такси, доставка еды, музыка, облачные технологии и ИИ. Помогает находить информацию, передвигаться и упрощать повседневные задачи

Подробнее о компании →

похожие вакансии

статьи для аналитиков