qa инженер (auto) AI-решений банка

Описания нет

• Разрабатывать и поддерживать стандарты тестирования LLM и AI-агентов, формировать требования QA к модельной политике банка
• Строить конвейер оценки LLM-систем, выявлять галлюцинации и утечки PII, контролировать формат ответов
• Давать заключение о готовности проекта к промышленной эксплуатации
• Внедрять мониторинг искажения данных и моделей, готовить документацию Model Card
• Проводить red-team- и adversarial-тестирование AI-агентов и систем на основе AI
• Настраивать регрессионное тестирование промптов и конвейеров при обновлении моделей
• Участвовать в проектировании архитектуры сквозных AI-конвейеров и инструментов QA с точки зрения тестируемости
• Участвовать в технической экспертизе моделей при согласовании с подразделением рисков

• Опыт тестирования и обеспечения качества AI/ML-решений: LLM, AI-агентов и конвейеров
• Понимание особенностей QA для LLM: оценка качества генерации, галлюцинации, утечки PII, контроль формата
• Практический опыт построения конвейера оценки: LLM-as-judge, автоматические метрики, ручная экспертиза
• Навыки системного анализа: умение разбирать проекты на части, описывать требования и предлагать решения
• Опыт red-team- и adversarial-тестирования
• Понимание принципов мониторинга данных и моделей
• Готовность работать с регуляторными требованиями и требованиями к рискам
• Опыт менторства и проведения технических интервью

• Условий в вакансии нет