ML research engineer in image and video generation

Мы занимаемся независимой оценкой качества и модельных рисков Kandinsky – семейства генеративных моделей для создания и редактирования изображений, видео и аудиовизуального контента, а также моделей мира (world models). Наша задача – находить слабые места моделей, проверять выбранные подходы к оценке и готовить рекомендации, которые помогают принимать решения о релизе и возможных сценариях применения моделей. Мы ищем специалиста на стыке исследований и инженерной разработки.

• декомпозировать качество на измеримые критерии и собирать под них тестовые сценарии, промпты и выборки
• проектировать оценку там, где готовой методологии ещё нет.
• реализовывать на Python инструменты для запуска моделей, сбора результатов и расчёта метрик
• обеспечивать воспроизводимость экспериментов и развивать внутреннюю библиотеку оценки
• готовить инструкции для асессоров и контролировать качество разметки.
• разрабатывать судей под конкретные критерии, учитывать их bias и ограничения
• понимать, где автоматическая оценка работает, а где без человека нельзя.
• понимать ограничения diffusion-моделей и причины типовых артефактов
• отличать реальную проблему модели от ошибки методологии или замера.
• анализировать качество по отдельным сценариям, типам промптов и срезам, а не только по среднему значению
• формулировать условия релиза, ограничения и явно фиксировать то, что осталось непроверенным.

• понимание принципов работы Transformers, diffusion- и мультимодальных моделей и основных задач: T2I, Image Editing, T2V, Audio, Video-Audio.
• понимание типовых ограничений, ошибок и артефактов моделей
• способность разбираться в причинах ошибок и способах их проверки.
• декомпозировать качество на измеримые критерии и проектировать тестовые сценарии, промпты и выборки.
• выбирать корректный подход к оценке: human evaluation, автоматические метрики, LLM/VLM-as-a-judge, а также подходящие модели для сравнения;
• проверять валидность метрик и уметь проектировать оценку для новых задач и модальностей, где ещё нет готовой методологии.
• prompt engineering, structured output, tool calling и работа с контекстом и ограничениями моделей
• построение и валидация LLM/VLM-as-a-judge, включая проверку автоматической оценки относительно человеческой
• понимание нестабильности, bias и галлюцинаций моделей
• умение подбирать модель под конкретную исследовательскую задачу.
• понимать, чем агент отличается от обычного вызова LLM;
• знать основные компоненты агентной системы: роли, инструменты, контекст, память и оркестрация
• понимать, когда агентный подход действительно полезен, а когда создаёт лишнюю сложность
• уметь оценивать надёжность и ограничения агентных решений.
• находить и критически разбирать актуальные статьи, бенчмарки, модели и реализации
• сравнивать решения с актуальными подходами и оценивать достоверность результатов
• переводить ресерч в конкретные идеи для тестирования и развития внутренних подходов.
• Будет плюсом: декомпозировать задачи между агентами, задавая им чёткие роли и зоны ответственности; управлять контекстом и изоляцией субагентов, организовывать проверку результатов; собирать результаты нескольких агентов в единое решение и критически оценивать их выводы; уверенно работать с Codex, Claude Code и другими coding-агентами; проверять и дорабатывать сгенерированный код, использовать агентов для тестирования; понимать архитектуру создаваемого решения; связывать тестирование с реальными пользовательскими сценариями и понимать, какие ошибки критичны для продукта; приоритизировать направления проверки и переводить результаты оценки в рекомендации для разработки; понимать влияние результатов на релиз и дальнейшее развитие модели

• комфортный современный офис рядом с м. Кутузовская
• возможность выбрать удобный график - офис / гибрид
• ежегодный пересмотр зарплаты и годовая премия
• корпоративный спортзал и зоны отдыха
• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
• подписка Прайм с возможностью совместного использования на трёх близких
• скидки на продукты компаний-партнеров
• вознаграждение за рекомендацию друзей в команду Сбера