аналитик данных качества AI-продуктов

Отдел контроля успеваемости мультиагентных систем оценивает качество решений на базе Gen-AI.

• Тестировать и оценивать качество решений на базе Gen-AI
• Анализировать результаты и выявлять причины отклонений
• Мониторить метрики эффективности и качества решений на базе Gen-AI
• Готовить отчёты и аналитические заключения о качестве работы, контролировать выполнение доработок
• Готовить предложения по повышению качества работы решений на базе Gen-AI
• Участвовать в разработке методик оценки качества AI-продуктов
• Взаимодействовать со связанными командами

• Высшее образование
• Опыт работы в аналитике данных или исследовании качества программного обеспечения
• Умение анализировать большие объёмы данных
• Продвинутый уровень владения Excel
• Понимание принципов работы генеративных моделей и LLM
• Стрессоустойчивость, умение работать в команде
• Будет плюсом: образование в математике, информатике, статистике или смежной области, опыт работы с SQL и другими инструментами анализа данных, навыки работы с генеративными AI-моделями, опыт создания AI-агентов и их применения в работе

• Официальное трудоустройство по ТК РФ
• График 5/2, с 8:00 до 17:00 или с 9:00 до 18:00
• Фиксированный оклад и годовой бонус
• ДМС для сотрудника и родственников с первого дня трудоустройства
• Обучение в СберУниверситете, доступ к виртуальной школе и профессиональным конкурсам
• Подписка Прайм с возможностью совместного использования на трёх близких
• Скидка по ипотечному кредиту, равная 1/3 ключевой ставки ЦБ