ml инженер в AI Safety

Сбер развивает GigaChat — быстрорастущий AI-проект, моделями которого пользуются миллионы людей. Команда делает LLM безопасными, а также развивает GigaEmbeddings — эмбеддер, удерживающий первое место по качеству среди русскоязычных моделей на лидерборде ruMTEB.

• Обучать компактные и быстрые классификаторы входящих и исходящих сообщений с помощью дистилляции и в заданном бюджете задержки, сохраняя качество основной модели;
• Развивать контур online-RL, дообучать защиты и модель на свежих атаках и сигналах с продакшена;
• Сокращать цикл от обнаружения новой атаки до устойчивости к ней;
• Балансировать метрики защиты: пропущенные нарушения и ложные срабатывания;
• Выстраивать систематический red teaming: вручную и автоматически искать джейлбрейки, prompt injection и обходы защит;
• Проводить red teaming перед каждым релизом и постоянно на живых моделях и продакшен-логах;
• Развивать GigaEmbeddings: подбирать и синтезировать данные, применять contrastive learning и hard negatives, выполнять дистилляцию в компактные версии;
• Применять эмбеддеры в задачах безопасности: кластеризовать атаки, искать аномалии в пользовательских логах и отслеживать эволюцию техник обхода;
• Собирать из продакшен-данных датасеты и целевые тестовые наборы под конкретные кейсы;
• Быстро находить по данным причины взлома защиты и характер неисправности;
• Превращать разборы инцидентов в улучшения моделей.

• Отлично владеть Python и PyTorch;
• Иметь практический опыт обучения классификаторов и LLM, а не только их использования;
• Иметь опыт с RL-методами дообучения: RLHF, DPO или online-RL;
• Уметь работать с продакшен-данными и обучать классификаторы: извлекать сигнал из логов, собирать датасеты, считать метрики и отличать значимые различия от шума;
• Иметь опыт обучения guard-моделей, включая Llama Guard и аналоги, или построения высоконагруженных систем модерации;
• Иметь опыт обучения эмбеддеров или ретриверов и знать бенчмарки MTEB и ruMTEB;
• Иметь опыт автоматизированного red teaming и знать профильную литературу по adversarial robustness;
• Иметь опыт работы в командах безопасности разработчиков моделей;
• Иметь публикации или вклад в open-source в области AI safety;
• Будет плюсом готовность быстро погрузиться в RL-методы дообучения на практическом уровне.

• Возможность развивать GigaEmbeddings, больше года удерживающий первое место на ruMTEB;
• Команда сильных инженеров и исследователей;
• Возможность совмещать управление направлением с глубокой технической работой;
• Конкурентная компенсация;
• Премии;
• Расширенный социальный пакет.