Тестировщик (manual) ML-моделей

Описания нет

• Проверка точности, полноты и recall модели на различных наборах данных.
• Анализ метрик качества (accuracy, precision, recall, F1-score, AUC-ROC и др.) и понимание, что каждая из них означает в контексте конкретной задачи.
• Проведение A/B тестов разных версий моделей.
• Умение распознавать случаи переобучения (overfitting) и недообучения (underfitting).
• Тестирование на смещенных данных (Bias & Fairness): поиск сценариев, где модель работает несправедливо по отношению к определенным группам (например, по полу, возрасту, расе).
• Проверка качества входных данных: их полноты, консистентности, корректности форматов.
• Валидация данных, используемых для обучения и валидации модели.
• Проверка корректности и уместности ответов, работы с контекстом.
• Проверка релевантности выданных рекомендаций.
• Целенаправленный поиск и создание входных данных, которые могут сломать или обмануть модель (adversarial examples).
• Тестирование модели на данных, сильно отличающихся от обучающей выборки (out-of-distribution data).
• Разработка и поддержка тест-кейсов, чек-листов, тест-планов.
• Активное использование техник тест-дизайна для покрытия функциональности.
• Качественное оформление баг-репортов с четкими шагами воспроизведения, логами, скриншотами.
• Умение декомпозировать сложную проблему на составляющие.
• Анализ корневых причин (Root Cause Analysis)

• Умение работать с системами баг-трекинга (Jira, Bugzilla, Redmine)
• Уверенное написание SQL запросов: SELECT, WHERE, JOIN (как минимум INNER и LEFT), GROUP BY, ORDER BY
• опыт работы с инструментами тестирования и БД (Postman, Swagger, Kafka, ELK, DevTools, PostgreSQL, MySQL, SQL Server.)
• Знание форматов данных: JSON, XML.
• Понимание типов API: REST (обязательно)
• Базовое понимание одного из языков программирования (Java или JavaScript/Python). Умение прочитать и понять чужой код.
• Внимательность, аналитическое мышление, умение работать в команде
• Самостоятельное планирование
• Принятие решений
• Инициатива
• технический уровень для работы с документацией
• Будет плюсом: знакомство с GraphQL

• Опыт работы от 3х лет.
• полный рабочий день, 5/2
• удаленная работа
• до 160 000 рублей (в зависимости от уровня)
• премии за успешное выполнение проектов
• возможность профессионального роста и обучения
• перспективы развития до Senior QA Engineer или автоматизатора
• оплачиваемый отпуск и больничный
• корпоративные мероприятия, тимбилдинги, печеньки