ml инженер генеративных моделей

Команда занимается независимой оценкой качества и модельных рисков Kandinsky — семейства генеративных моделей для создания и редактирования изображений, видео и аудиовизуального контента, а также моделей мира. Она разрабатывает методологии, бенчмарки и инструменты полного цикла, объединяя автоматические метрики, оценку людьми и подходы LLM/VLM-as-a-judge.

• Проектировать оценку качества моделей с нуля;
• Декомпозировать качество на измеримые критерии и собирать тестовые сценарии, промпты и выборки;
• Проектировать оценку там, где ещё нет готовой методологии;
• Разрабатывать на Python инструменты для запуска моделей, сбора результатов и расчёта метрик;
• Обеспечивать воспроизводимость экспериментов и развивать внутреннюю библиотеку оценки;
• Готовить инструкции для асессоров и контролировать качество разметки;
• Разрабатывать судей под конкретные критерии с учётом их искажений и ограничений;
• Определять, где автоматическая оценка работает, а где необходима оценка человеком;
• Анализировать ограничения diffusion-моделей и причины типовых артефактов;
• Отличать реальную проблему модели от ошибки методологии или измерения;
• Анализировать качество по отдельным сценариям, типам промптов и срезам;
• Формулировать условия релиза и ограничения;
• Фиксировать непроверенные аспекты модели.

• Хорошо понимать устройство генеративных моделей;
• Понимать принципы работы Transformers, diffusion- и мультимодальных моделей, а также задач T2I, Image Editing, T2V, Audio и Video-Audio;
• Понимать типовые ограничения, ошибки и артефакты моделей;
• Уметь разбираться в причинах ошибок и способах их проверки;
• Уметь декомпозировать качество на измеримые критерии и проектировать тестовые сценарии, промпты и выборки;
• Уметь выбирать подход к оценке: human evaluation, автоматические метрики, LLM/VLM-as-a-judge и модели для сравнения;
• Уметь проверять валидность метрик и проектировать оценку для новых задач и модальностей;
• Владеть prompt engineering, structured output, tool calling и работой с контекстом и ограничениями моделей;
• Уметь строить и валидировать LLM/VLM-as-a-judge, включая сравнение автоматической оценки с человеческой;
• Понимать нестабильность, искажения и галлюцинации моделей;
• Уметь подбирать модель под конкретную исследовательскую задачу;
• Понимать отличие агента от обычного вызова LLM;
• Знать основные компоненты агентной системы: роли, инструменты, контекст, память и оркестрация;
• Понимать, когда агентный подход полезен, а когда создаёт лишнюю сложность;
• Уметь оценивать надёжность и ограничения агентных решений;
• Уметь находить и критически разбирать актуальные статьи, бенчмарки, модели и реализации;
• Уметь сравнивать решения с актуальными подходами и оценивать достоверность результатов;
• Уметь переводить результаты исследований в идеи для тестирования и развития внутренних подходов;
• Будет плюсом умение работать с агентами и субагентами, навыки вайбкодинга и AI-assisted coding, продуктовое мышление, оценка Image, Video, Audio и мультимодальных моделей, разработка собственных бенчмарков и методологий, работа с асессорами и большими массивами пользовательских запросов, построение аналитических пайплайнов и отчётов, понимание GPU-инфраструктуры и инференса, практический опыт построения multi-agent систем.

• Комфортный современный офис рядом с м. Кутузовская;
• Возможность выбрать удобный график: офис или гибрид;
• Ежегодный пересмотр зарплаты и годовая премия;
• Корпоративный спортзал и зоны отдыха;
• Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития;
• Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа;
• Льготный дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ;
• Подписка Прайм с возможностью совместного использования на троих близких;
• Скидки на продукты компаний-партнёров;
• Вознаграждение за рекомендацию друзей в команду Сбера.