Инженер по оценке искусственного интеллекта (auto)

Описания нет

• Разрабатывать и реализовывать стратегии оценки продуктов и функций на основе искусственного интеллекта;
• Преобразовывать бизнес-требования, пользовательские сценарии и диалоговые потоки в измеримые тестовые сценарии;
• Разрабатывать, поддерживать и улучшать наборы данных для оценки, бенчмарки, пакеты регрессионных тестов и повторно используемые тестовые активы;
• Проводить функциональное, конверсационное, исследовательское, API- и регрессионное тестирование приложений искусственного интеллекта;
• Обеспечивать охват тестированием основных пользовательских сценариев, крайних случаев, многоязычного использования, неоднозначных запросов и состязательных сценариев;
• Разрабатывать критерии оценки функций искусственного интеллекта, метрики качества, шкалы оценки, критерии приемки и регрессионные критерии;
• Разрабатывать детерминированные проверки, механизмы оценки и автоматизированные процессы оценки;
• Проводить оценку и регрессионное тестирование после изменений промптов, моделей, поиска данных (retrieval) и контекста;
• Анализировать проблемы, обнаруженные в рабочей среде, и ошибки искусственного интеллекта, разрабатывать новые регрессионные тестовые сценарии;
• Отслеживать показатели качества искусственного интеллекта, выявлять регрессии и подготавливать соответствующие отчеты;
• Сотрудничать с командами Applied AI Engineer, QA Engineer, Product Owner и Context Engineer, изучать проблемы и участвовать в непрерывном улучшении продуктов на основе искусственного интеллекта.

• Высшее образование;
• Минимум 3 года опыта работы в Software QA, Test Automation, Quality Engineering или смежных технических областях;
• Знание и опыт применения принципов Software Quality Assurance, проектирования тестов и разработки тестовых стратегий;
• Опыт проведения ручного или автоматизированного тестирования, включая функциональное, исследовательское, регрессионное и API-тестирование;
• Знание и опыт тестирования REST API и интегрированных систем;
• Знание SQL;
• Базовые знания Python или другого скриптового языка;
• Умение преобразовывать бизнес-требования в измеримые тестовые сценарии и критерии оценки;
• Понимание характерных для систем искусственного интеллекта сценариев ошибок, таких как галлюцинации, неправильное использование инструментов, проблемы с контекстом и небезопасные ответы искусственного интеллекта;
• Сильное аналитическое мышление, навыки решения проблем и внимание к деталям;
• Сильные коммуникативные навыки и умение работать в команде;
• Опыт работы по методологии Agile;
• Высокий интерес к технологиям искусственного интеллекта и желание развиваться в области оценки ИИ.
• Будет плюсом: Опыт автоматизации тестирования; Базовые знания Large Language Models (LLM) и технологий Generative AI; Базовые знания Prompt Engineering и Retrieval-Augmented Generation (RAG); Знакомство с системами AI Agent и Tool Calling; Базовые знания Git и CI/CD; Опыт работы с метриками качества, дашбордами и отчетами; Базовые знания статистического анализа и интерпретации результатов экспериментов; Опыт работы с DeepEval, Promptfoo, RAGAS или аналогичными фреймворками оценки ИИ; Опыт тестирования Conversational AI и систем AI Agent; Опыт работы с модельными оценщиками, автоматизированными процессами оценки и инструментами наблюдаемости ИИ; Базовые знания AI Safety, Robustness, Adversarial Testing и Machine Learning

• Условий в вакансии нет