Data Analyst

Команда разрабатывает сервис разметки достоверности ответов больших языковых моделей.

• Собирать эталоны и узкие бенчмарки для оценки качества исполнителей и агентов;
• Валидировать инструкцию на противоречия, вносить в неё правки и обсуждать изменения с редакторами;
• Размечать ответы для новых направлений;
• Отвечать за качество голденсета;
• Развивать имеющегося агента и доводить его показатели до уровня редактора;
• Создавать новые дополнительные конвейеры с языковыми моделями для сбора голденсетов;
• Выстраивать конвейеры с искусственным интеллектом для работы с асессорами и редакторами;
• Подготавливать подсказки для помощи исполнителям в улучшении качества разметки;
• Оценивать качество комментариев;
• Проводить отладку проблем и обучать людей;
• Строить рейтинг исполнителей и придумывать методы оценки сложности заданий.

• Понимаете, почему важно всегда смотреть в данные;
• Уверенно пишете на Python и знаете алгоритмы;
• Знаете математическую статистику и проверяли гипотезы с её помощью;
• Опыт работы от 3 лет;
• Будет плюсом интересоваться продуктом, стремиться понять, каким он должен быть и почему, уметь общаться, ясно излагать мысли, понимать и учитывать мнение коллег, убеждать, работать с табличными данными на SQL, иметь дело с крауд-проектами, например делать разметку в Толоке, знать основы машинного обучения.

• Расширенная медицинская страховка с первого месяца;
• Плановая и неотложная помощь за рубежом, страхование от несчастных случаев и лечение критических заболеваний;
• Онлайн-консультации с психологами и психотерапия в офисах;
• Ежегодные чекапы и регулярная вакцинация;
• 30 Дней больничного в году с оплатой полной зарплаты;
• Стоматологические услуги и экстренная помощь за рубежом;
• Коррекция зрения и хирургическое лечение косоглазия после года работы;
• Кабинеты врачей-терапевтов во всех крупных офисах;
• Ведение беременности и роды для сотрудниц и жён сотрудников со стажем более двух лет;
• Страховка для родственников по системе 80/20.