описание
Pretrain — самый масштабный и затратный этап обучения GigaChat. Мы готовим мультимодальный претрейн следующего поколения моделей, и для аудио это задача нового масштаба: сотни миллионов часов записей нужно отобрать, разметить, очистить и превратить в interleaved-последовательности, где речь перемежается текстом. От этих данных напрямую зависит, насколько хорошо модель будет понимать речь на десятках языков. Мы ищем эксперта, который знает, какие аудиоданные двигают качество модели, и владеет всем стеком обработки речи: от детекции голосовой активности до распознавания и синтеза.
задачи
- строить и оптимизировать data engine для audio pretrain: пайплайн от сырого аудио до interleaved-данных (речь + текст) для обучения мультимодальной модели
- отвечать за ключевые компоненты пайплайна: детекцию речи (VAD), определение языка (LID), сегментацию и диаризацию, распознавание речи с таймстемпами, оптимизированное под каждый язык
- обучать и дообучать собственные модели как компоненты пайплайна там, где готовые решения не дают нужного качества или скорости
- использовать синтез речи, чтобы закрывать пробелы в данных: качественные тексты, малоресурсные языки, редкие домены
- ставить эксперименты на подготовленных претрейн-данных: абляции смесей и этапов пайплайна, оценка влияния данных на метрики модели
- оптимизировать пропускную способность и стоимость пайплайнов (GPU-часы на час аудио)
- приоритизировать ручную разметку и полуавтоматическую обработку там, где это эффективнее полной автоматизации
- нанимать и вести дата-инженеров и ML-инженеров
требования
- уверенное знание Python и PyTorch
- опыт построения дата пайплайнов на больших объемах данных
- опыт распределенной обработки данных (Spark, YT/MapReduce) и ускорения инференса (SGLang, vLLM, ONNX / TensorRT)
- понимание задач обработки речи (VAD, LID, ASR, диаризация, выравнивание, TTS) и метрик их качества
- понимание методов распределенного обучения и инференса
- Будет плюсом: опыт обучения речевых моделей; опыт работы с мультиязычными и малоресурсными языками; практический опыт обучения мультимодальных LLM
условия
- Условий в вакансии нет
навыки
компания
Крупнейший российский банк и экосистема. Предоставляет банковские услуги: кредиты, вклады, карты, ипотека. Развивает сервисы: доставка, здоровье, развлечения, облачные технологии и ИИ. Удобно для финансов и повседневных задач.
Подробнее о компании →