🚀 Voila:语音 - 语言基础模型
Voila 是一系列全新的大型语音 - 语言基础模型,旨在将人机交互体验提升到新的高度。它突破了传统语音 AI 系统的局限,如高延迟、语音细节丢失和机械响应等问题。Voila 采用了创新的端到端模型设计和新颖的分层 Transformer 架构,实现了实时、自主且丰富的语音交互,延迟低至 195 毫秒,超越了人类的平均响应时间。结合先进的语音和语言建模技术,Voila 提供了可定制、基于角色的交互方式,并且在从自动语音识别(ASR)、文本转语音(TTS)到跨六种语言的语音翻译等一系列音频任务中表现出色。

Voila: Voice-Language Foundation Models
项目主页    |    GitHub    |    Hugging Face   |    论文    |    在线演示   |    Maitrix.org
✨ 主要特性
- 高保真、低延迟的实时流式音频处理。
- 有效整合语音和语言建模能力。
- 拥有数百万个预建和自定义语音,对话中可快速切换语音。
- 统一模型适用于各种音频任务。
📺 视频演示

📢 最新消息
- 2025 年 4 月 28 日:我们发布了 Voila 的推理代码和模型权重。
📦 基础模型
💻 使用示例
基础用法
CLI 演示
for model_name in "maitrix-org/Voila-audio-alpha" "maitrix-org/Voila-base" "maitrix-org/Voila-chat"; do
# 文本聊天
python infer.py \
--model-name ${model_name} \
--instruction "" \
--input-text "Hello" \
--task-type chat_tito
# 语音聊天
python infer.py \
--model-name ${model_name} \
--instruction "" \
--input-audio "examples/test1.mp3" \
--task-type chat_aiao
done
# 自主模式
python infer.py \
--model-name "maitrix-org/Voila-autonomous-preview" \
--instruction "" \
--input-audio "examples/test_autonomous1.mp3" \
--task-type chat_aiao_auto
Gradio 演示
python gradio_demo.py
更多信息,请参考 代码仓库。
📊 数据集
我们发布了以下两个数据集:Voila 基准测试集和 Voila 语音库。Voila 基准测试集是一个新颖的语音评估基准,而 Voila 语音库提供了数百万个预建和可定制的语音。
🧪 基准测试
1. Voila 基准测试
我们引入了一个名为 Voila 基准测试的新颖语音评估基准。该基准通过从五个广泛使用的语言模型评估数据集中采样构建而成,包括 MMLU、MATH、OpenAI HumanEval、NQ - Open 和 GSM8k。我们将我们的结果与 SpeechGPT 和 Moshi 进行了比较。
模型 |
Voila 基准测试得分 |
SpeechGPT |
13.29 |
Moshi |
11.45 |
Voila |
30.56 |
(分数越高越好)
有关 Voila 基准测试在每个特定领域的详细分数,请参考我们的论文(第 5.1 节“Voila 基准测试评估”)。
2. 自动语音识别(ASR)评估
由于 Voila 支持多项任务,包括自动语音识别(ASR)、文本转语音(TTS)和语音问答,我们还评估了 ASR 和 TTS 的性能。对于 ASR,我们在 LibriSpeech test - clean 数据集上进行评估,使用词错误率(WER)作为指标。Voila 的词错误率(WER)达到了 4.8%,优于 Moshi 报告的 5.7%。在两个模型都使用 LibriSpeech 训练数据的情况下,Voila 实现了令人印象深刻的 2.7% 的 WER。
模型 |
LibriSpeech test - clean(WER) |
Whisper large v2 |
2.7 |
Whisper large v3 |
2.2 |
FastConformer |
3.6 |
VoxtLM |
2.7 |
Moshi |
5.7 |
Voila(未使用 LibriSpeech 训练集) |
4.8 |
Voila(使用 LibriSpeech 训练集) |
2.7 |
(分数越低越好)
3. 文本转语音(TTS)评估
对于 TTS,我们遵循 Vall - E 中提出的评估指标,即使用 HuBERT - Large 对生成的音频进行转录。Voila 再次领先,WER 为 3.2%(使用 LibriSpeech 训练数据时为 2.8%)。
模型 |
LibriSpeech test - clean(WER) |
YourTTS |
7.7 |
Vall - E |
5.9 |
Moshi |
4.7 |
Voila(未使用 LibriSpeech 训练集) |
3.2 |
Voila(使用 LibriSpeech 训练集) |
2.8 |
(分数越低越好)
📄 引用
如果您觉得我们的工作有帮助,请引用我们:
@article{voila2025,
author = {Yemin Shi, Yu Shu, Siwei Dong, Guangyi Liu, Jaward Sesay, Jingwen Li, Zhiting Hu},
title = {Voila: Voice-Language Foundation Models for Real-Time Autonomous Interaction and Voice Roleplay},
eprint={2505.02707},
archivePrefix={arXiv},
primaryClass={cs.CL},
year = {2025}
}
📜 许可证
本项目采用 MIT 许可证。