Head of data in audio pretraining

грейд
head
страна
Россия
опубликована
сегодня

описание

Pretrain — самый масштабный и затратный этап обучения GigaChat. Мы готовим мультимодальный претрейн следующего поколения моделей, и для аудио это задача нового масштаба: сотни миллионов часов записей нужно отобрать, разметить, очистить и превратить в interleaved-последовательности, где речь перемежается текстом. От этих данных напрямую зависит, насколько хорошо модель будет понимать речь на десятках языков. Мы ищем эксперта, который знает, какие аудиоданные двигают качество модели, и владеет всем стеком обработки речи: от детекции голосовой активности до распознавания и синтеза.

задачи

  • строить и оптимизировать data engine для audio pretrain: пайплайн от сырого аудио до interleaved-данных (речь + текст) для обучения мультимодальной модели
  • отвечать за ключевые компоненты пайплайна: детекцию речи (VAD), определение языка (LID), сегментацию и диаризацию, распознавание речи с таймстемпами, оптимизированное под каждый язык
  • обучать и дообучать собственные модели как компоненты пайплайна там, где готовые решения не дают нужного качества или скорости
  • использовать синтез речи, чтобы закрывать пробелы в данных: качественные тексты, малоресурсные языки, редкие домены
  • ставить эксперименты на подготовленных претрейн-данных: абляции смесей и этапов пайплайна, оценка влияния данных на метрики модели
  • оптимизировать пропускную способность и стоимость пайплайнов (GPU-часы на час аудио)
  • приоритизировать ручную разметку и полуавтоматическую обработку там, где это эффективнее полной автоматизации
  • нанимать и вести дата-инженеров и ML-инженеров

требования

  • уверенное знание Python и PyTorch
  • опыт построения дата пайплайнов на больших объемах данных
  • опыт распределенной обработки данных (Spark, YT/MapReduce) и ускорения инференса (SGLang, vLLM, ONNX / TensorRT)
  • понимание задач обработки речи (VAD, LID, ASR, диаризация, выравнивание, TTS) и метрик их качества
  • понимание методов распределенного обучения и инференса
  • Будет плюсом: опыт обучения речевых моделей; опыт работы с мультиязычными и малоресурсными языками; практический опыт обучения мультимодальных LLM

условия

  • Условий в вакансии нет

навыки

компания

Крупнейший российский банк и экосистема. Предоставляет банковские услуги: кредиты, вклады, карты, ипотека. Развивает сервисы: доставка, здоровье, развлечения, облачные технологии и ИИ. Удобно для финансов и повседневных задач.

Подробнее о компании →

похожие вакансии

статьи для разработчиков