ML Engineer

Исследовательская команда занимается разработкой омнимодальной архитектуры, которая распознает речь, ведет диалог, понимает перебивания и работает с аудио, текстом и визуальной информацией в реальном времени.

• Разрабатывать мультимодальные архитектуры для одновременного восприятия и генерации речи.
• Обрабатывать перебивания, паузы и естественный диалог в реальном времени.
• Интегрировать речь, текст и визуальные данные в единую архитектуру.
• Выполнять мультимодальный анализ и синхронизацию потоков аудио, текста и видео.
• Обучать и оптимизировать модели для достижения низкой задержки и стриминга.
• Исследовать и внедрять современные подходы, включая end-to-end системы, стриминговые трансформеры и мультимодальные языковые модели.

• Отличное владение Python 3, опыт работы с PyTorch, bash, git, Docker, dvc и HF Transformers.
• Глубокое понимание ASR, TTS, цифровой обработки сигналов, а также обработки речи и аудио.
• Понимание работы трансформеров, механизмов внимания, KV-cache и диффузионных моделей.
• Навыки работы с большими наборами аудиоданных.
• Опыт работы со стриминговыми и real-time системами.
• Понимание практик MLOps, включая мониторинг моделей, отслеживание дрейфа данных и CI/CD.
• Умение быстро разбирать и воспроизводить идеи из научных статей.
• Будет плюсом опыт работы в доменах речи, музыки или с голосовыми ассистентами, знание мультимодальных языковых моделей, а также наличие публикаций или исследовательского опыта.

• Работа в крупном банке.