ml инженер генеративных моделей

Команда отвечает за независимую оценку и контроль качества генеративных моделей Сбера, включая GigaChat, Kandinsky, GigaCode и решения PhysicalAI. Она разрабатывает методологии оценки, бенчмарки и фреймворки, адаптирует мировые подходы под банковские кейсы и исследует новые возможности моделей до их выхода к пользователям.

• Придумывать способы измерения качества моделей;
• Создавать планы проверки моделей, включая выбор метрик, выборок и критериев сравнения;
• Обеспечивать достоверность измерений;
• Выявлять утечки данных в обучение;
• Отличать дефекты модели от дефектов замера, промпта или обвязки;
• Разбираться в причинах ошибок моделей;
• Формулировать рекомендации для команд разработки;
• Разрабатывать LLM- и VLM-судей под конкретные задачи;
• Разрабатывать и дорабатывать библиотеки валидации полного цикла;
• Следить за современными исследованиями в области оценки моделей;
• Развивать общие фреймворки оценки для команд Банка;
• Создавать бенчмарки для оценки качества моделей.

• Умение проводить технический и научный ресерч;
• Навыки критического анализа актуальных статей, бенчмарков, моделей и реализаций;
• Умение переводить результаты ресерча в идеи для тестирования и развития внутренних подходов;
• Знание статистики и дизайна экспериментов;
• Знание доверительных интервалов, размера выборки, проверки гипотез и поправок на множественные сравнения;
• Понимание современных AI-агентов и агентных систем;
• Знание компонентов агентных систем: ролей, инструментов, контекста, памяти и оркестрации;
• Понимание устройства генеративных моделей, включая трансформеры, механизм внимания, диффузию, токенизацию, параметры генерации и этапы обучения;
• Опыт работы с генеративными моделями и их оценкой;
• Знание метрик, бенчмарков, human evaluation и Model-as-a-judge;
• Понимание ограничений Model-as-a-judge;
• Продуктовое мышление;
• Python на продакшн-уровне;
• Умение писать чистый код по PEP 8;
• Знание ООП и типовых паттернов проектирования;
• Умение использовать аннотации типов, линтеры и статический анализ;
• Опыт создания и поддержки production-кода eval-пайплайнов;
• Навыки чтения и ревью чужого кода;
• Будет плюсом R&D-опыт, участие в создании бенчмарков, работа с мультимодальными моделями, evaluation-фреймворками и harness, RAG, асессорами, coding-агентами, оркестрацией LangGraph и OpenClaw, а также навыки вайбкодинга и AI-assisted coding.

• Годовая премия до 6 окладов;
• Регулярный пересмотр зарплат;
• Расширенный ДМС;
• Льготное страхование для семьи;
• Более 400 образовательных программ СберУниверситета;
• DS&AI community из более чем 600 специалистов, митапы и мастер-классы;
• Корпоративный спортзал;
• Дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ;
• Подписка Прайм с возможностью совместного использования на трёх близких;
• Реферальная программа с вознаграждением;
• Современный офис, спортзал, снеки и кофе.