аналитик-разработчик качества генеративных моделей

Алиса AI — система моделей для построения ответов LLM с использованием поиска как источника информации и обогащений ответа. Система внедрена в Поиск Яндекса и Алису; сейчас команда развивает ответы на сложные запросы, требующие специализированных знаний.

• Разбираться в метриках качества модели и развивать их на экспертных срезах
• Работать с экспертами, формализовать их знания и превращать их в разметку и критерии оценки модели
• Анализировать ответы модели на сложные темы и определять, что делает их полезными и точными для пользователя
• Улучшать качество ответов на основе результатов анализа
• Создавать процессы и инструменты, которые снижают рутину экспертов и ускоряют разметку
• Разбираться в инфраструктуре, предлагать улучшения и запускать новые пайплайны

• Уверенно работать с Python и SQL
• Знать математическую статистику и теорию вероятностей
• Уметь формализовать и структурировать требования и ожидания заказчиков
• Быть самостоятельным и браться за новые задачи без готового решения
• Уметь спокойно и аргументированно отстаивать свою точку зрения и выслушивать чужую
• Будет плюсом: опыт написания инструкций и самостоятельного запуска проектов разметки данных, опыт работы с машинным обучением и нейронными сетями, умение создавать точные и эффективные промпты для генеративных нейросетей

• Условий в вакансии нет