описание
Проект крупной телекоммуникационной компании по созданию и развитию интеллектуальных голосовых ассистентов и диалоговых систем.
задачи
- Поэтапно переводить систему с графа сценариев и навыков на управляемый диалог на основе LLM
- Находить и устранять причины высокой задержки, галлюцинаций LLM, проблем с передачей аудио и ошибок графа
- Самостоятельно принимать архитектурные решения и реализовывать их в коде
- Поддерживать и отлаживать классификацию сценариев с помощью Qwen и классификаторы на BERT, учитывать краевые случаи и исправлять ошибочные срабатывания интентов
- При необходимости дообучать локальные LLM для извлечения сущностей и удержания инструкций
- Интегрировать и поддерживать ASR на базе GigaAMv2, отлаживать качество распознавания и работу VAD
- Дообучать и настраивать инференс собственных и открытых TTS-систем и систем клонирования голоса
требования
- Уверенный опыт работы с LLM/SLM, few-shot learning, prompt engineering и BERT для классификации сценариев и интентов
- Практический опыт дообучения LLM с PEFT, LoRA или QLoRA для прикладных задач
- Умение быстро находить причины некорректных ответов LLM и исправлять их промптом, гиперпараметром или дообучением
- Опыт дообучения и оптимизации TTS-моделей
- Опыт работы с современными ASR-системами и их интеграции, в частности GigaAMv2
- Практический опыт работы с потоковым аудио в реальном времени, streaming ASR/TTS и контрактами gRPC
- Уверенное владение Python, PyTorch, Hugging Face и фреймворками инференса
- Базовое понимание Go, проектирования сервисов, SOLID/DRY/KISS, типизации, синхронизации и конкурентности, горутин, каналов, указателей и наблюдаемости
- Опыт оптимизации инференса для низкой задержки с vLLM, TensorRT-LLM, Triton Inference Server или ONNX Runtime
- Опыт работы с графовыми или сценарными диалоговыми движками и LLM-агентами
- Умение быстро диагностировать проблемы инференса и локализовать ошибки
- Будет плюсом: опыт работы с gRPC, настройка инфраструктуры, k8s/inventory и глубокое понимание TCP
условия
- Ставка обсуждается
- Аутстаффинговая позиция