Voila Chat

🚀 Voila：语音语言基础模型

Voila 是一系列全新的大型语音语言基础模型，旨在将人机交互体验提升到新的高度。它突破了传统语音 AI 系统高延迟、丢失语音细微差别和机械响应的限制，采用了创新的端到端模型设计和新颖的分层 Transformer 架构。这种方法能够实现实时、自主且丰富的语音交互，延迟低至 195 毫秒，超越了人类的平均响应时间。结合先进的语音和语言建模，Voila 提供可定制的、基于角色的交互，并在从自动语音识别（ASR）和文本转语音（TTS）到跨六种语言的语音翻译等一系列音频任务中表现出色。

Voila: Voice-Language Foundation Models

🌐 项目主页    |    🐙 GitHub    |   🤗 Hugging Face   |    📄 论文    |    💻 在线演示   |    🏢Maitrix.org

✨ 主要特性

• 高保真、低延迟的实时流式音频处理
• 有效整合语音和语言建模能力
• 数百万个预建和自定义语音，对话中可快速切换语音
• 适用于各种音频任务的统一模型

📦 安装指南

文档未提供安装步骤，暂不展示。

💻 使用示例

基础用法

CLI 演示

for model_name in "maitrix-org/Voila-audio-alpha" "maitrix-org/Voila-base" "maitrix-org/Voila-chat"; do
    # 文本聊天
    python infer.py \
        --model-name ${model_name} \
	    --instruction "" \
	    --input-text "Hello" \
	    --task-type chat_tito
    # 语音聊天
    python infer.py \
        --model-name ${model_name} \
	    --instruction "" \
	    --input-audio "examples/test1.mp3" \
	    --task-type chat_aiao
done

# 自主模式
python infer.py \
    --model-name "maitrix-org/Voila-autonomous-preview" \
	--instruction "" \
	--input-audio "examples/test_autonomous1.mp3" \
	--task-type chat_aiao_auto

Gradio 演示

python gradio_demo.py

更多信息，请参考 代码仓库。

📚 详细文档

基础模型

数据集

我们发布了以下两个数据集：Voila 基准测试集和 Voila 语音库。Voila 基准测试集是一个新颖的语音评估基准，而 Voila 语音库提供了数百万个预建和可定制的语音。

基准测试

1. Voila 基准测试

我们引入了一个名为 Voila 基准测试的新颖语音评估基准。Voila 基准测试是从五个广泛使用的语言模型评估数据集（MMLU、MATH、OpenAI HumanEval、NQ-Open 和 GSM8k）中采样构建的。我们将我们的结果与 SpeechGPT 和 Moshi 进行了比较。

（分数越高越好）

有关 Voila 基准测试在每个特定领域的详细分数，请参考我们的论文（第 5.1 节“Voila 基准测试评估”）。

2. 自动语音识别（ASR）评估

由于 Voila 支持多项任务，包括自动语音识别（ASR）、文本转语音（TTS）和语音问答，我们还评估了 ASR 和 TTS 的性能。对于 ASR，我们在 LibriSpeech test-clean 数据集上评估性能，使用词错误率（WER）作为指标。Voila 的词错误率（WER）为 4.8%，优于 Moshi 报告的 5.7%。在两个模型都使用 LibriSpeech 训练数据的情况下，Voila 实现了令人印象深刻的 2.7% 的 WER。

（分数越低越好）

3. 文本转语音（TTS）评估

对于 TTS，我们遵循 Vall-E 中提出的评估指标，即使用 HuBERT-Large 对生成的音频进行转录。Voila 再次领先，WER 为 3.2%（使用 LibriSpeech 训练数据时为 2.8%）。

（分数越低越好）

🔧 技术细节

文档未提供技术实现细节，暂不展示。

📄 许可证

本项目采用 MIT 许可证。

📚 引用

如果您觉得我们的工作有帮助，请引用我们的论文：

@article{voila2025,
  author    = {Yemin Shi, Yu Shu, Siwei Dong, Guangyi Liu, Jaward Sesay, Jingwen Li, Zhiting Hu},
  title     = {Voila: Voice-Language Foundation Models for Real-Time Autonomous Interaction and Voice Roleplay},
  eprint={2505.02707},
  archivePrefix={arXiv},
  primaryClass={cs.CL},
  year      = {2025}
}