Voila Chat

🚀 Voila: Voice-Language Foundation Models

Voilaは、人間とAIの対話体験を新たなレベルへ引き上げる、新しい音声言語基盤モデルのファミリーです。従来の音声AIシステムが抱える高遅延、音声のニュアンスの喪失、機械的な応答といった制約を打破し、革新的なエンドツーエンドのモデル設計と新しい階層型Transformerアーキテクチャを採用しています。これにより、低遅延（最小195ms）でリアルタイムかつ豊かな音声対話が可能となり、平均的な人間の反応時間を上回る性能を発揮します。高度な音声と言語モデリング技術を組み合わせ、カスタマイズ可能なペルソナ駆動型の対話を実現し、音声認識、音声合成、音声翻訳など、幅広い音声タスクで優れた性能を発揮します。

Voila: Voice-Language Foundation Models

🌐 Project Page    |    🐱 GitHub    |   🤗 Hugging Face   |    📄 Paper    |    💻 Online Demo   |    🏢 Maitrix.org

✨ 主な機能

• 高忠実度、低遅延のリアルタイムストリーミング音声処理
• 音声と言語モデリング機能の効果的な統合
• 数百万の事前構築済みおよびカスタマイズ可能な音声、会話中の高速音声切り替え
• 様々な音声タスクに対応した統一モデル

📦 インストール

詳細なインストール手順については、コードリポジトリを参照してください。

💻 使用例

基本的な使用法

CLIデモ

for model_name in "maitrix-org/Voila-audio-alpha" "maitrix-org/Voila-base" "maitrix-org/Voila-chat"; do
    # テキストチャット
    python infer.py \
        --model-name ${model_name} \
	    --instruction "" \
	    --input-text "Hello" \
	    --task-type chat_tito
    # 音声チャット
    python infer.py \
        --model-name ${model_name} \
	    --instruction "" \
	    --input-audio "examples/test1.mp3" \
	    --task-type chat_aiao
done

# 自律モード
python infer.py \
    --model-name "maitrix-org/Voila-autonomous-preview" \
	--instruction "" \
	--input-audio "examples/test_autonomous1.mp3" \
	--task-type chat_aiao_auto

Gradioデモ

python gradio_demo.py

高度な使用法

詳細については、コードリポジトリを参照してください。

📚 ドキュメント

基礎モデル

データセット

我々は以下の2つのデータセットを公開しています：Voila BenchmarkとVoila Voice Library。Voila-Benchmarkは新しい音声評価ベンチマークであり、Voila Voice Libraryは数百万の事前構築済みおよびカスタマイズ可能な音声を提供します。

ベンチマーク

1. Voila Benchmark

我々はVoilaBenchmarkという新しい音声評価ベンチマークを導入しました。Voila Benchmarkは、MMLU、MATH、OpenAI HumanEval、NQ-Open、GSM8kという5つの広く使用されている言語モデル評価データセットからサンプリングして構築されています。我々の結果をSpeechGPTとMoshiと比較しています。

(数値が高いほど良い)

Voila Benchmarkの各特定ドメインにおける詳細なスコアについては、我々の論文（セクション5.1 "Evaluation of Voila Benchmark"）を参照してください。

2. 自動音声認識（ASR）の評価

Voilaは自動音声認識（ASR）、テキスト読み上げ（TTS）、音声質問応答などの複数のタスクをサポートしているため、ASRとTTSの性能も評価しています。 ASRについては、LibriSpeech test-cleanデータセットで性能を評価し、単語誤り率（WER）を指標として使用しています。Voilaは4.8%の単語誤り率（WER）を達成し、Moshiが報告した5.7%を上回っています。両モデルがLibriSpeechのトレーニングデータを使用するシナリオでは、Voilaは2.7%という印象的なWERを達成しています。

(数値が低いほど良い)

3. テキスト読み上げ（TTS）の評価

TTSについては、Vall-Eで提案された評価指標に従い、生成された音声をHuBERT-Largeで文字起こしすることで評価しています。 Voilaは再び3.2%のWER（LibriSpeechのトレーニングデータを使用する場合は2.8%）で首位を占めています。

(数値が低いほど良い)

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。

🔧 技術詳細

本プロジェクトでは、以下の技術要素が使用されています。

• ベースモデル：maitrix-org/Voila-base
• パイプラインタグ：audio-to-audio
• サポート言語：英語、中国語、フランス語、ドイツ語、日本語、韓国語

📚 引用

もしあなたが我々の研究が役に立ったと感じた場合は、以下のように引用してください。

@article{voila2025,
  author    = {Yemin Shi, Yu Shu, Siwei Dong, Guangyi Liu, Jaward Sesay, Jingwen Li, Zhiting Hu},
  title     = {Voila: Voice-Language Foundation Models for Real-Time Autonomous Interaction and Voice Roleplay},
  eprint={2505.02707},
  archivePrefix={arXiv},
  primaryClass={cs.CL},
  year      = {2025}
}