ml инженер генеративных моделей

Команда занимается независимой оценкой качества и модельных рисков Kandinsky — семейства генеративных моделей для создания и редактирования изображений, видео и аудиовизуального контента, а также моделей мира. Она разрабатывает методологии, бенчмарки и инструменты оценки, объединяя автоматические метрики, human evaluation и подходы LLM/VLM-as-a-judge.

• Проектировать оценку качества моделей с нуля;
• Декомпозировать качество на измеримые критерии и собирать тестовые сценарии, промпты и выборки;
• Проектировать оценку там, где готовой методологии ещё нет;
• Разрабатывать evaluation-пайплайны;
• Реализовывать на Python инструменты для запуска моделей, сбора результатов и расчёта метрик;
• Обеспечивать воспроизводимость экспериментов и развивать внутреннюю библиотеку оценки;
• Готовить инструкции для асессоров и контролировать качество разметки;
• Разрабатывать судей под конкретные критерии, учитывая их bias и ограничения;
• Определять, где автоматическая оценка работает, а где необходим человек;
• Анализировать ограничения diffusion-моделей и причины типовых артефактов;
• Отличать реальные проблемы модели от ошибок методологии или замера;
• Анализировать качество по отдельным сценариям, типам промптов и срезам;
• Формулировать условия релиза и ограничения;
• Фиксировать то, что осталось непроверенным.

• Понимание принципов работы Transformers, diffusion- и мультимодальных моделей, а также задач T2I, Image Editing, T2V, Audio и Video-Audio;
• Понимание типовых ограничений, ошибок и артефактов моделей;
• Умение разбираться в причинах ошибок и способах их проверки;
• Умение декомпозировать качество на измеримые критерии и проектировать тестовые сценарии, промпты и выборки;
• Умение выбирать подход к оценке: human evaluation, автоматические метрики, LLM/VLM-as-a-judge и модели для сравнения;
• Умение проверять валидность метрик и проектировать оценку для новых задач и модальностей;
• Навыки prompt engineering, structured output, tool calling и работы с контекстом и ограничениями моделей;
• Умение строить и валидировать LLM/VLM-as-a-judge, включая сравнение автоматической оценки с человеческой;
• Понимание нестабильности, bias и галлюцинаций моделей;
• Умение подбирать модель под конкретную исследовательскую задачу;
• Понимание отличий AI-агента от обычного вызова LLM;
• Знание компонентов агентной системы: ролей, инструментов, контекста, памяти и оркестрации;
• Умение оценивать надёжность и ограничения агентных решений;
• Умение находить и критически разбирать актуальные статьи, бенчмарки, модели и реализации;
• Умение сравнивать решения с актуальными подходами и оценивать достоверность результатов;
• Умение переводить результаты исследований в идеи для тестирования и развития внутренних подходов;
• Будет плюсом умение работать с агентами и субагентами, навыки вайбкодинга и AI-assisted coding, продуктовый подход, опыт оценки Image, Video, Audio и мультимодальных моделей, разработки собственных бенчмарков и методологий, работы с асессорами и большими массивами пользовательских запросов, построения аналитических пайплайнов и отчётов, понимание GPU-инфраструктуры и инференса, практический опыт построения multi-agent систем.

• Офис рядом с м. Кутузовская;
• Возможность выбрать офисный или гибридный график;
• Ежегодный пересмотр зарплаты и годовая премия;
• Корпоративный спортзал и зоны отдыха;
• Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития;
• Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа;
• Дисконт по ипотечному кредиту в размере 1/3 ключевой ставки ЦБ;
• Подписка Прайм с возможностью совместного использования с тремя близкими;
• Скидки на продукты компаний-партнёров;
• Вознаграждение за рекомендацию друзей в команду Сбера.