Voila Tokenizer

🚀 Voila：语音 - 语言基础模型

Voila 是一系列全新的大型语音 - 语言基础模型，旨在将人机交互体验提升到新的高度。它突破了传统语音 AI 系统的局限，如高延迟、语音细节丢失和机械响应等问题。Voila 采用了创新的端到端模型设计和新颖的分层 Transformer 架构，实现了实时、自主且丰富的语音交互，延迟低至 195 毫秒，超越了人类的平均响应时间。结合先进的语音和语言建模技术，Voila 提供了可定制、基于角色的交互方式，并且在从自动语音识别（ASR）、文本转语音（TTS）到跨六种语言的语音翻译等一系列音频任务中表现出色。

Voila: Voice-Language Foundation Models

项目主页    |    GitHub    |    Hugging Face   |    论文    |    在线演示   |    Maitrix.org

✨ 主要特性

• 高保真、低延迟的实时流式音频处理。
• 有效整合语音和语言建模能力。
• 拥有数百万个预建和自定义语音，对话中可快速切换语音。
• 统一模型适用于各种音频任务。

📺 视频演示

📢 最新消息

• 2025 年 4 月 28 日：我们发布了 Voila 的推理代码和模型权重。

📦 基础模型

💻 使用示例

基础用法

CLI 演示

for model_name in "maitrix-org/Voila-audio-alpha" "maitrix-org/Voila-base" "maitrix-org/Voila-chat"; do
    # 文本聊天
    python infer.py \
        --model-name ${model_name} \
        --instruction "" \
        --input-text "Hello" \
        --task-type chat_tito
    # 语音聊天
    python infer.py \
        --model-name ${model_name} \
        --instruction "" \
        --input-audio "examples/test1.mp3" \
        --task-type chat_aiao
done

# 自主模式
python infer.py \
    --model-name "maitrix-org/Voila-autonomous-preview" \
    --instruction "" \
    --input-audio "examples/test_autonomous1.mp3" \
    --task-type chat_aiao_auto

Gradio 演示

python gradio_demo.py

更多信息，请参考 代码仓库。

📊 数据集

我们发布了以下两个数据集：Voila 基准测试集和 Voila 语音库。Voila 基准测试集是一个新颖的语音评估基准，而 Voila 语音库提供了数百万个预建和可定制的语音。

🧪 基准测试

1. Voila 基准测试

我们引入了一个名为 Voila 基准测试的新颖语音评估基准。该基准通过从五个广泛使用的语言模型评估数据集中采样构建而成，包括 MMLU、MATH、OpenAI HumanEval、NQ - Open 和 GSM8k。我们将我们的结果与 SpeechGPT 和 Moshi 进行了比较。

（分数越高越好）

有关 Voila 基准测试在每个特定领域的详细分数，请参考我们的论文（第 5.1 节“Voila 基准测试评估”）。

2. 自动语音识别（ASR）评估

由于 Voila 支持多项任务，包括自动语音识别（ASR）、文本转语音（TTS）和语音问答，我们还评估了 ASR 和 TTS 的性能。对于 ASR，我们在 LibriSpeech test - clean 数据集上进行评估，使用词错误率（WER）作为指标。Voila 的词错误率（WER）达到了 4.8%，优于 Moshi 报告的 5.7%。在两个模型都使用 LibriSpeech 训练数据的情况下，Voila 实现了令人印象深刻的 2.7% 的 WER。

（分数越低越好）

3. 文本转语音（TTS）评估

对于 TTS，我们遵循 Vall - E 中提出的评估指标，即使用 HuBERT - Large 对生成的音频进行转录。Voila 再次领先，WER 为 3.2%（使用 LibriSpeech 训练数据时为 2.8%）。

（分数越低越好）

📄 引用

如果您觉得我们的工作有帮助，请引用我们：

@article{voila2025,
  author    = {Yemin Shi, Yu Shu, Siwei Dong, Guangyi Liu, Jaward Sesay, Jingwen Li, Zhiting Hu},
  title     = {Voila: Voice-Language Foundation Models for Real-Time Autonomous Interaction and Voice Roleplay},
  eprint={2505.02707},
  archivePrefix={arXiv},
  primaryClass={cs.CL},
  year      = {2025}
}

📜 许可证

本项目采用 MIT 许可证。