ML разработчик

Команда занимается исследованиями и разработкой омнимодальной архитектуры Full-Duplex, которая обеспечивает одновременную обработку аудио, текста и визуальной информации в реальном времени, включая понимание перебиваний и естественного диалога.

• Разрабатывать full-duplex мультимодальные архитектуры для одновременного восприятия и генерации речи;
• Обрабатывать перебивания, паузы и естественный диалог в реальном времени;
• Интегрировать речь, текст и визуальные модальности в единую архитектуру;
• Выполнять мультимодальный reasoning и синхронизацию потоков данных;
• Обучать и оптимизировать модели для достижения низкой латентности и стриминга;
• Исследовать и внедрять современные подходы, включая end-to-end модели, стриминговые трансформеры и мультимодальные большие языковые модели.

• Отличное владение Python 3;
• Опыт работы с PyTorch, bash, git, Docker, dvc, HF Transformers;
• Глубокое понимание ASR, TTS, DSP ML, обработки речи и аудио;
• Понимание трансформеров, механизмов внимания, KV-cache, диффузионных моделей;
• Навыки работы с большими аудиодатасетами;
• Опыт работы со стриминговыми и real-time системами;
• Понимание MLOps-практик, включая мониторинг моделей, отслеживание дрейфа данных и CI/CD;
• Умение быстро анализировать и воспроизводить идеи из научных публикаций;
• Будет плюсом опыт работы в доменах речи, музыки или с голосовыми ассистентами, знание мультимодальных LLM / VLM / Audio-LM, наличие публикаций или исследовательского бэкграунда.

• Условий в вакансии нет