автоматизатор тестирования управляемого RAG-сервиса

Команда Evolution Managed RAG развивает и поддерживает управляемый RAG-сервис Cloud.ru Evolution: от загрузки корпоративных документов до семантического поиска и генерации ответов с LLM без собственной инфраструктуры индексирования, векторного хранилища и DevOps у клиента. Данные хранятся в защищённом контуре в РФ.

• Развивать тестовую стратегию продукта;
• Писать и расширять авто-тесты на Python с pytest и/или Go по критичным пользовательским и сервисным сценариям;
• Разбирать накопленный технический долг по тестированию;
• Доводить ручные тесты до автоматизации;
• Отслеживать и закрывать пробелы в покрытии;
• Наводить порядок в регрессе и фиксации результатов тестирования;
• Следить за стабильностью прогонов в CI/CD;
• Участвовать в приёмке функций перед выкаткой на прод;
• Работать с k8s-стендами;
• Разбирать логи;
• Воспроизводить дефекты;
• Помогать с регрессией;
• Взаимодействовать с разработкой;
• Обсуждать edge-кейсы;
• Приоритизировать покрытие по критичности;
• Повышать качество баг-репортов и тестовой документации;
• Участвовать в общих QA-практиках направления;
• Участвовать в обмене подходами, разработке стандартов и кросс-ревью;
• Участвовать в решении пользовательских заявок и инцидентов от технической поддержки.

• Опыт автоматизации тестирования от трёх лет;
• Опыт написания тестов на Python и/или Go;
• Сильные навыки API QA: REST, контракты, негативные сценарии, изоляция тенантов и асинхронные пайплайны;
• Понимание архитектуры распределённых систем: Kubernetes, очереди и брокеры, реляционные БД;
• Опыт написания и отладки тестов в CI/CD;
• Умение самостоятельно находить пробелы в покрытии, предлагать стратегию и доводить её до работающих авто-тестов и quality gates;
• Готовность брать ответственность за процессы тестирования в продукте;
• Опыт участия в выстраивании QA-процессов в команде;
• Будет плюсом опыт тестирования GenAI, RAG и LLM-пайплайнов, опыт тестирования биллинга, квот и других интеграций в облачных сервисах, опыт тестирования ETL-процессов, объектных хранилищ или векторных БД, опыт нагрузочного тестирования с k6, Locust или аналогами, опыт настройки метрик и алертов в Prometheus и Grafana, опыт работы с Kubernetes в контексте тестирования и стендов, gRPC, Kafka, Temporal или аналогами.

• Оформление в соответствии с трудовым законодательством РФ;
• Достойный уровень дохода: оклад + годовой бонус;
• Расширенный ДМС со стоматологией;
• Компенсация спорта;
• Штатный терапевт и психолог;
• Гибкий график работы, пятница — сокращённый рабочий день;
• Офис в Москве;
• Индивидуальный план развития и обучение за счёт компании;
• Возможность вертикального и горизонтального роста;
• Возможность развиваться как эксперту: выступать на мероприятиях и писать статьи;
• Профессиональные сообщества и клубы по интересам;
• Неформальные мероприятия;
• Льготная программа ипотечного и потребительского кредитования;
• Материальная помощь при рождении детей и других семейных обстоятельствах;
• Бонусы за рекомендации кандидатов на открытые вакансии.