аналитик-разработчик оценки качества моделей Алисы

Команда проводит офлайн-оценку больших языковых моделей Алисы и моделей других разработчиков на подготовленных наборах запросов.

• Прокачивать наборы запросов через внутренние инструменты для оценки моделей
• Настраивать и запускать внутренние инструменты оценки моделей, находить причины сбоев и исправлять проблемы
• Развивать надстройки над инфраструктурой прокачки, чтобы другие аналитики могли использовать эти инструменты
• Изучать поведение новых моделей, разбирать незнакомые данные и форматы логов, находить причины проблем
• Замечать повторяющиеся ошибки, оформлять понятные отчёты об ошибках и предлагать улучшения инструментов и процесса оценки

• Быстро разбираться в незнакомых инструментах, данных и логах
• Самостоятельно запускать и поддерживать технические процессы
• Ясно описывать и воспроизводить проблемы, объяснять их суть коллегам
• Будет плюсом: опыт работы с инструментами оценки моделей или качеством ответов ИИ-систем, знакомство с v1/chat/completions и LLM-as-a-Judge, автоматизация процессов и поддержка внутренних инструментов для работы с данными

• Компенсация от 100М токенов для экспериментов и оптимизации рутины
• Доступ к передовым моделям для ежедневной работы
• Расширенная медицинская страховка с первого месяца работы
• Оплачиваемые 30 дней больничного в году
• Страхование от несчастных случаев, лечение критических заболеваний, психологическая помощь и психотерапия
• Ежегодные медицинские осмотры и вакцинация
• Стоматология и экстренная медицинская помощь за рубежом
• Коррекция зрения и хирургическое лечение косоглазия после года работы
• Ведение беременности и роды для сотрудниц и жён сотрудников со стажем более двух лет
• Медицинская страховка для детей и супругов: компания оплачивает 80% стоимости, сотрудник — 20%