QA engineer (auto) for AI agents

Привет! Мы компания Techno Diasoft - аккредитованная IT компания, созданная в 2008 году. Специализируемся на разработке высоконагруженных FinTech проектах, создании умных устройств, голосовых ассистентов, а также разработке инновационных решений в области биометрии и искусственного интеллекта. Флагманским продуктом компании является автоматизированная банковская система xBank. Сейчас мы в поиске тестировщика, который присоединится к одному из наших актуальных проектов.

• Интеграционное тестирование: REST/gRPC, Kafka (очереди, статусы, повторная обработка), валидация данных между сервисами и базой данных.
• Регресс и релиз: участие в подготовке к релизу, проведение функционального и регрессионного тестирования продуктов с LLM-компонентами (веб-интерфейсы, API, интеграции).
• Покрытие сценариев тестами: разработка и поддержка наборов тестовых сценариев, включая наборы для оценки качества ответов моделей (evaluation datasets, golden sets)
• Валидация LLM‑ответов и пайплайнов: проверка релевантности, галлюцинаций, заземлённости (grounding) и согласованности ответов, соответствие формату (structured output / JSON schema)
• Безопасность и соответствие: проверка на утечки чувствительной информации, валидация входных данных, контроль уязвимостей в зависимостях, соответствие внутренним политикам.
• Работа с промптами: тестирование промптов на устойчивость к вариациям формулировок, adversarial‑запросы, проверка поведения при «краевых» и «токсичных» запросах.
• Тестирование агентных сценариев: проверка логики Human‑in‑the‑loop, обработки таймаутов и повторных попыток.
• Проверка качества данных и RAG: валидация корпуса, метрик поиска (точность, полнота), проверка сценариев «нет релевантных документов», «шумные документы», «неоднозначные запросы».

• Опыт в тестировании веб-сервисов (frontend + backend) от 2-3 лет (manual + auto).
• Уверенное тестирование API (REST/gRPC), WebSocket, очередей, микросервисной архитектуры.
• Понимание SDLC, STLC и практик CI/CD, умение встраивать качество в производственный процесс.
• Понимание клиент-серверной и микросервисной архитектуры, а также retry, eventual consistency, идемпотентности и асинхронных процессов.
• Уверенное владение SQL, опыт написания запросов и валидации данных в базе данных (PostgreSQL или аналогами).
• Работа с системами трассировки и мониторинга (OpenTracing/OpenTelemetry, Grafana, Prometheus), понимание логов и алертов.
• Умение самостоятельно работать в условиях высокой неопределённости.
• Умение наладить эффективную коммуникацию и взаимодействие с коллегами.
• Понимание основ промпт-инжиниринга: структура промпта, few-shot, chain-of-thought, работа с системными промптами.
• Умение проектировать тестовые сценарии под неопределённость и вариативность ответов LLM.
• Понимание специфики LLM: недетерминированность, галлюцинации, ограничения контекста, температура и параметры генерации
• Опыт работы с таск-трекерами (Jira или аналогами)
• Понимание принципов работы LLM и агентных систем: Tool‑use, мультиагентные сценарии (Plan‑and‑Execute, Reflection, Handoff), RAG.
• Понимание базовых метрик качества LLM: точность, полнота, F1, BLEU/ROUGE (или альтернативные метрики), умение интерпретировать результаты.
• Будет плюсом: Опыт тестирования безопасности LLM: prompt injection, jailbreaks, утечки данных; Опыт тестирования RAG‑систем: оценка качества поиска, подбор метрик, работа с эмбеддингами; Практический опыт валидации LLM‑ответов: ручная разметка, сравнение моделей, A/B‑сравнение; Понимание MCP‑протокола и MCP‑сервера, тестирование агентных инструментов; Опыт работы с Kubernetes, Docker, Helm, CI/CD (GitLab CI, Jenkins); Навыки автоматизации тестирования на Python с применением AI-инструментов

• Условий в вакансии нет