менеджер по качеству данных для ML-датасетов

Создаёт датасеты для задач машинного обучения: от поиска дорожных знаков и выделения зданий на спутниковых снимках до классификации фотографий и оценки привлекательности контента. Работа ведётся с задачами Computer Vision, NLP и AI.

• Проектировать, запускать и поддерживать процессы сбора, обработки, разметки и валидации данных
• Формулировать требования к датасетам вместе с командами Computer Vision, NLP и AI
• Определять критерии качества данных, организовывать проверки разметки и анализировать ошибки
• Оценивать скорость, стоимость и качество разметки, находить узкие места и улучшать процесс
• Проводить эксперименты с подходами к разметке, автоматизации и контролю качества, анализировать результаты и принимать решения
• Использовать LLM и другие инструменты автоматизации для ускорения подготовки и проверки данных
• Работать с асессорами и заказчиками: объяснять требования, собирать обратную связь и устранять проблемы в процессе
• Развивать типовые пайплайны и масштабировать успешные решения на новые задачи
• Поддерживать датасеты после запуска: расширять их при дрейфе данных, появлении новых сценариев и изменении требований к качеству модели
• Писать инструкции для асессоров, правила разметки и промпты для LLM

• Опыт работы с краудсорсинговыми проектами, разметкой данных или контролем качества разметки
• Умение декомпозировать неопределённую задачу на измеримый процесс: определять входные данные, правила, критерии приёмки и метрики качества
• Умение сопоставлять качество, скорость и стоимость разных подходов к разметке
• Python на уровне анализа данных, подготовки выборок и написания скриптов автоматизации
• Умение формулировать и тестировать промпты для LLM, оценивать качество результатов и учитывать ограничения такого подхода
• Умение вести несколько задач одновременно, расставлять приоритеты и управлять ожиданиями
• Умение вовлекать участников в решение задач и объяснять сложные вещи понятным языком
• Важны системное мышление, ответственность за результат и готовность разбираться в новых типах ML-задач
• Будет плюсом: знание принципов машинного обучения и жизненного цикла ML-моделей, опыт работы с датасетами для Computer Vision, NLP или генеративного AI, знание HTML, CSS и JavaScript, опыт разработки внутренних инструментов для разметки, валидации или контроля качества данных, опыт работы с метриками качества разметки, межаннотаторским согласием, аудитами ошибок или активным обучением

• Условий в вакансии нет