описание
Проект предполагает переход системы от графа сценариев к диалогу на основе LLM с оптимизацией голосового конвейера.
задачи
- Переводить систему с графа сценариев и навыков на управляемый диалог на основе LLM
- Отлаживать голосовой конвейер и находить причины высокой задержки, галлюцинаций LLM, проблем с передачей аудио и ошибок графа
- Принимать архитектурные решения и самостоятельно реализовывать их в коде
- Поддерживать и быстро отлаживать классификацию сценариев методом few-shot на базе Qwen и классификаторы на BERT
- Учитывать краевые случаи и исправлять ошибочные срабатывания интентов
- Дообучать локальные LLM для извлечения сущностей и удержания инструкций
- Интегрировать и поддерживать ASR на базе GigaAMv2, отлаживать качество распознавания и работу VAD
- Дообучать и настраивать инференс собственных и открытых TTS и систем клонирования голоса
требования
- Практический опыт работы с LLM/SLM, few-shot learning, prompt engineering и BERT для классификации сценариев и интентов
- Практический опыт дообучения LLM с PEFT, LoRA/QLoRA для прикладных задач
- Умение отлаживать ответы LLM и исправлять их с помощью промптов, гиперпараметров или дообучения
- Опыт дообучения и оптимизации TTS-моделей
- Опыт работы и интеграции современных ASR-систем, в частности GigaAMv2
- Опыт работы с графовыми и сценарными диалоговыми движками, а также LLM-агентами
- Высокая скорость диагностики проблем инференса, поиска ошибок и принятия инженерных решений
- Уверенное владение Python, PyTorch, Hugging Face и фреймворками инференса
- Уверенное владение Go, включая типы данных, указатели, синхронизацию горутин и работу с каналами
- Опыт оптимизации инференса для низкой задержки с vLLM, TensorRT-LLM, Triton Inference Server или ONNX Runtime
- Практический опыт работы с потоковым аудио в реальном времени, streaming ASR/TTS и контрактами gRPC
- Опыт работы с observability
- Будет плюсом: понимание принципов SOLID, DRY и KISS, базовое понимание проектирования сервисов на Go
условия
- Условий в вакансии нет
