аналитик данных безопасности LLM

Alice AI — большая языковая модель, которая помогает миллионам людей решать повседневные задачи. Команда отвечает за безопасность и ответственное поведение LLM: готовит данные и обучает модели, разрабатывает автоматизированные системы оценки, исследует риски и принимает релиз-кандидаты.

• Исследовать большие объёмы данных и выделять сложные срезы
• Находить потенциально проблемные паттерны
• Формулировать гипотезы о новых классах рисков и проектировать сценарии для red teaming
• Разрабатывать критерии и рубрики оценки
• Собирать evaluation-пайплайны
• Проверять автоматические оценки на человеческой разметке
• Исследовать устойчивость, согласованность и смещения автоматических оценок, а также их precision и recall
• Собирать и проверять обучающие выборки для этапов SFT и RL
• Анализировать ошибки моделей и определять направления улучшения
• Встраивать требования к ответственному поведению в цикл разработки LLM
• Разрабатывать наборы тестов и офлайн-метрики
• Сравнивать релиз-кандидаты с текущей моделью, анализировать регрессии и статистическую значимость изменений
• Оценивать готовность модели к запуску

• Уверенно владеть Python и SQL
• Самостоятельно работать с данными, исследовать логи и формулировать гипотезы
• Знать математическую статистику и теорию вероятностей, уметь строить эксперименты и интерпретировать результаты
• Ясно излагать мысли, обсуждать решения и аргументированно отстаивать позицию
• Иметь опыт работы с ML-моделями и понимать основные этапы их обучения и оценки
• Создавать LLM-джаджей и автоматизированные оценочные пайплайны или проводить red teaming
• Знать SFT, RLHF/RLAIF и современные подходы к оценке LLM
• Понимать типовые сценарии использования и уязвимости генеративных моделей

• Условий в вакансии нет