Аналитик данных качества Alice AI VLM

Команда занимается аналитикой качества Alice AI VLM, оценивает качество модели, ищет точки роста, а также создаёт и улучшает данные для её обучения. Работа ведётся над созданием агентной системы, которая повышает качество ответов Алисы на сложных запросах пользователей и на опенсорсных бенчмарках.

• Исследовать опенсорсные и создавать собственные бенчмарки для агентных VLM;
• Выявлять пробелы в покрытии бенчмарков и разрабатывать новые, отражающие реальные пользовательские запросы;
• Декомпозировать проблемы и строить таксономию типов ошибок модели;
• Измерять вклад каждого класса ошибок в общее качество для приоритизации улучшений;
• Разрабатывать масштабируемые пайплайны создания обучающих данных для сценариев рассуждений и использования инструментов.

• Опыт работы в аналитике более одного года;
• Уверенное владение Python и SQL для глубокого анализа данных;
• Активное применение генеративных моделей в работе или повседневной жизни;
• Будет плюсом участие в разработке judge-моделей или организации разметки с привлечением асессоров и экспертов, чтение профессиональной литературы на английском языке, знание основ машинного обучения и компьютерного зрения.

• Расширенная медицинская страховка с первого месяца работы, включающая плановую и неотложную помощь, лечение критических заболеваний и стоматологию;
• Оплата 30 дней больничного в году в полном объеме;
• Ежегодные чекапы и вакцинация по ДМС;
• Возможность онлайн-консультаций с психологами и психотерапия в офисах;
• Оплата ведения беременности и родов для сотрудников и их супругов со стажем от двух лет;
• Программа страхования родственников по системе 80/20;
• Наличие кабинетов терапевтов в крупных офисах.