QA Engineer (auto)

Группа Rubytech является производителем программно-аппаратных комплексов и разработчиком технологий для высоконагруженных ИТ-инфраструктур. Компания выпускает собственную линейку ПАК Скала^р, а также строит и защищает от киберугроз инфраструктуру, обеспечивая бесперебойную работу крупного бизнеса и государственных организаций.

• Тестировать AI/ML-компоненты и сервисы;
• Тестировать RAG-пайплайны, включая оценку качества поиска, релевантности ответов и обоснованности генерации;
• Контролировать метрики оценки LLM;
• Применять знания принципов работы агентских систем и MCP.

• Опыт тестирования AI/ML-компонентов и сервисов;
• Опыт работы с фреймворками LangChain, LlamaIndex, RAGAS, Langfuse;
• Опыт тестирования RAG-пайплайнов (качество поиска, релевантность, обоснованность);
• Знание Python, SQL, REST API;
• Знание метрик оценки LLM;
• Понимание принципов работы агентских систем и MCP;
• Будет плюсом опыт работы с Postman, Selenium, PyTest, оценка экономической эффективности (контроль потребления токенов, стоимости запросов, API-лимитов), понимание интеграционного тестирования (коннекторы к Active Directory, MS SharePoint, Confluence, мессенджерам), навыки тестирования информационной безопасности (prompt injection, jailbreak-атаки, проверка утечки персональных данных, data leakage системных промптов).

• Стабильный и «белый» конкурентный доход;
• Работа в аккредитованной ИТ-компании из реестра Минцифры (отсрочка от мобилизации);
• Профессиональный рост, обучение и развитие, участие в проекте «Лекторий Rubytech»;
• ДМС для сотрудника и его семьи на особых условиях;
• Развитые спортивные комьюнити (футбол, волейбол, баскетбол, шахматы);
• Тимбилдинги, митапы и корпоративные мероприятия;
• Скидки у более чем 500 партнеров (платформы BestBenefits и Lerna);
• Офис с дежурным врачом, кафе, столовой, кофе, фруктами, фитнес-центром и коворкингом.