аналитик данных для AI-продукта

Команда Алисы AI создаёт Мою Память — единое место для заметок, дел, списков, планов и файлов. Проект формирует контекстный слой Алисы, который помогает пользователю сохранять важное, находить информацию обычными словами и получать нужный контекст в подходящий момент через чат, колонку или другое устройство с Алисой. В основе сервиса — LLM, которая понимает намерения пользователя, вызывает инструменты для работы с записями и формирует итоговый ответ.

• Формировать целостную систему оценки качества AI-продукта;
• Определять ключевые метрики и раскладывать их по этапам сценария;
• Связывать офлайн-оценку моделей с поведением продукта в реальном потоке;
• Проектировать мониторинги и дашборды для выявления деградаций;
• Находить срезы, в которых общая метрика скрывает проблемы;
• Собирать репрезентативные eval-наборы и приёмочные корзинки;
• Сравнивать версии моделей и разбирать регрессии;
• Развивать LLM-as-a-judge и проверять его согласованность с человеческой оценкой;
• Определять критерии готовности к эксперименту и запуску;
• Проводить постанализ после выкладки и проверять ожидаемый эффект;
• Искать срабатывания false positive и false negative;
• Разбирать DSAT и проблемные диалоги;
• Кластеризовать ошибки и отделять проблемы намерения, retrieval, tool calling и генерации ответа;
• Выявлять повторяющиеся паттерны через data mining и эвристики;
• Превращать наблюдения в проверяемые продуктовые и ML-гипотезы;
• Оценивать масштаб проблем и ожидаемый эффект исправлений;
• Формировать выборки для обучения, валидации и независимой приёмки;
• Следить за покрытием сценариев и смещениями в данных;
• Помогать определять разметку и таксономию ошибок;
• Оценивать качество датасетов и автоматической разметки;
• Проводить воспроизводимые исследования для команды;
• Проектировать и анализировать A/B-эксперименты;
• Интерпретировать изменения продуктовых и качественных метрик;
• Отделять эффект модели от изменений состава трафика;
• Находить новые проблемы и удачные сценарии в живом потоке.

• От 3 лет опыта;
• Уверенно владеть SQL и Python и самостоятельно проводить исследования от сырых данных до вывода;
• Уметь работать с большими объёмами событийных данных и текстовых логов;
• Знать основы математической статистики и A/B-тестирования;
• Уметь проектировать метрики, проверять их валидность и объяснять ограничения;
• Уметь превращать размытый вопрос о качестве продукта в измеримую постановку;
• Уметь находить причины за агрегатами и проверять гипотезы на данных;
• Понимать базовые принципы работы ML-моделей и быть готовым разбираться в сложной LLM-системе;
• Ясно формулировать выводы и обсуждать их с ML-разработчиками, инженерами, редакторами и менеджерами;
• Будет плюсом опыт работы с LLM-продуктами, NLP или голосовыми ассистентами, построения evals, LLM-as-a-judge и систем автоматической оценки моделей, оценки качества ранжирования, поиска или классификации, сбора обучающих и приёмочных датасетов, построения аналитических дашбордов и мониторингов, знание retrieval, RAG, tool calling и агентных систем, умение работать с неструктурированными данными и проектировать таксономии ошибок.

• Расширенная медицинская страховка с первого месяца работы;
• Оплачиваемые 30 дней больничного в году;
• ДМС покрывает плановые и экстренные медицинские услуги за рубежом;
• ДМС включает психологические консультации, психотерапию, ежегодные чекапы и вакцинацию;
• ДМС включает стоматологию;
• После года работы ДМС покрывает коррекцию зрения и хирургическое лечение косоглазия;
• В офисах доступны кабинеты терапевтов;
• Сотрудницам и жёнам сотрудников, работающим более двух лет, оплачиваются ведение беременности и роды;
• ДМС для детей и супругов по системе 80/20.