ml инженер голосовых агентов

Команда развивает голосовой режим GigaChat — голосового AI-агента для сложных пользовательских сценариев. Она работает над естественной речью, длинными диалогами, реакцией на перебивания, взаимодействием с внешними инструментами, низкой задержкой и эмпатией. В составе решения — LLM GigaChat, модель распознавания речи GigaAM, аудиомодель GigaChat Audio и модель синтеза речи GigaTTS.

• Разрабатывать архитектуру взаимодействия голосового слоя и системы оркестрации агентов: обрабатывать перебивания, организовывать очередность реплик и асинхронные навыки;
• Экспериментировать с обучением LLM — от SFT до RL, адаптировать модели под конкретные предметные области и улучшать работу с функциями и навыками;
• Строить систему оценки качества голосовых агентов: использовать WER, задержку, GCR и бенчмарки tau-типа;
• Улучшать работу системы на реальном трафике с длинными диалогами, ошибками распознавания, телефонным каналом, шумом, акцентами, перебиваниями и спонтанной речью.

• Практический опыт распределённого обучения больших моделей и понимание принципов его работы;
• Опыт построения конвейеров оценки качества и сбора данных для генеративных моделей;
• Умение решать продуктовые ML-задачи полного цикла: от сбора разметки до внедрения в промышленную среду;
• Будет плюсом применение RL-методов для обучения LLM, опыт обучения мультимодальных LLM, улучшение ASR, TTS или других аудиокомпонентов, понимание сложных систем оркестрации агентов и разработка нетривиальных навыков для собственных разработок или реальных продуктов.

• Возможность выбрать гибридный формат или работу в офисе;
• Ежегодный пересмотр зарплаты и годовая премия;
• Корпоративный спортзал и зоны отдыха;
• Более 400 образовательных программ СберУниверситета;
• Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа;
• Ипотека выгоднее до 7% для каждого сотрудника;
• Бесплатная подписка СберПрайм+ и скидки на продукты компаний-партнёров;
• Вознаграждение за рекомендацию друзей в команду Сбера.