qa инженер (auto) AI-ассистента

Авито — онлайн-платформа объявлений с категориями «Товары», «Авто», «Работа», «Услуги» и «Недвижимость». Сервис объединяет продавцов и покупателей, поддерживает безопасное заключение сделок и развивает «Авито Доставку». AI-ассистент для профессиональных продавцов помогает работать с объявлениями, статистикой и продвижением, отвечать на вопросы и выполнять действия через сервисы платформы.

• Планировать и проводить тестирование новых функций AI-ассистента на вебе, iOS и Android;
• Развивать API-, интеграционные и E2E-автотесты;
• Развивать eval-наборы, проверять гардрейлы и регрессию при изменении моделей и промптов;
• Оценивать риски перед запуском и координировать проверки с разработчиками и DS-командой;
• Отвечать за качество функциональности команды, участвовать в проработке решений, планировать тестирование, оценивать риски и сопровождать задачи до запуска;
• Работать с бэкендом, вебом, iOS, Android и интеграциями со смежными сервисами;
• Подключать разработчиков к обеспечению качества;
• Развивать проверки качества для недетерминированных ответов модели;
• Развивать подходы к тестированию LLM-функциональности, включая eval-наборы, критерии качества и регрессионные проверки;
• Проверять гардрейлы и негативные сценарии, включая некорректные ответы, галлюцинации, промпт-инъекции, утечки данных и выход за ограничения ассистента;
• Оценивать влияние изменений промптов, моделей и агентской логики на существующие сценарии;
• Участвовать в разборе проблем на стыке LLM, бэкенда и клиентских платформ.

• Опыт разработки автоматизированных тестов от 2 лет;
• Опыт тестирования от 3 лет;
• Опыт самостоятельной работы над качеством продукта или крупной функциональности;
• Умение планировать тестирование и оценивать риски при неполных требованиях;
• Опыт тестирования клиент-серверных приложений: UI, веб, mAV, iOS, Android, API и интеграций;
• Опыт написания и поддержки API-, интеграционных или E2E-автотестов;
• Знание Go и JavaScript для написания E2E-тестов;
• Понимание проверок на каждом уровне тестирования;
• Умение аргументированно оценивать готовность задачи к запуску;
• Опыт работы с разработчиками, аналитиками, продуктом и смежными командами.

• Возможность реализовать идеи в проекте с многомиллионной аудиторией;
• Поддержка инициатив талантливой командой;
• Мощное оборудование и дополнительные мониторы;
• Прозрачная система премий;
• Размер зарплаты обсуждается на собеседовании;
• Личный бюджет на книги, курсы и конференции;
• ДМС со стоматологией с первого дня;
• Терапевт и массажист в офисе;
• Комфортный офис в двух минутах от метро «Белорусская».