аналитик данных качества ИИ-помощника

ИИ-помощник отвечает на вопросы, пользуется инструментами и выполняет задачи.

• Исследовать, как помощник справляется с реальными задачами пользователей, где ошибается и какие улучшения дадут эффект
• Создавать наборы для оценки и бенчмарки, чтобы проверять новые модели, промпты, навыки и работу с инструментами
• Развивать SBS и LLM-as-judge, обучать автоматическую оценку замечать существенные различия и проверять её на человеческой разметке
• Превращать найденные проблемы в гипотезы, данные для дообучения и понятные критерии приёмки
• Связывать качество модели с качеством продукта и выяснять, какие изменения помогают пользователю решить задачу
• Строить инструменты для исследования качества и выявления регрессий

• Интерес к поиску причин ошибок и разработке экспериментов для их проверки
• Умение работать с неопределённостью, учитывать ограничения данных и объяснять выводы
• Сильная база в статистике и анализе данных
• Уверенная работа с Python и SQL, умение читать, проверять и исправлять код, созданный ИИ
• Понимание принципов работы LLM и интерес к оценке моделей и агентов
• Использование кодинговых агентов в работе
• Умение показать, как с помощью ИИ решена исследовательская задача, автоматизирован процесс или создан инструмент, и объяснить подход и результат

• Ежегодный пересмотр зарплаты и годовая премия
• Корпоративный спортзал и зоны отдыха
• Система обучения для профессионального и карьерного развития
• Расширенный полис ДМС с первого дня работы и страхование для семьи
• Программа ипотеки для сотрудников
• Вознаграждение за рекомендацию друзей в команду