Ultravox V0 6 Qwen 3 32b

🚀 Ultravoxモデルカード

Ultravoxは、多模态音声大規模言語モデル（LLM）です。このモデルは、事前学習された大規模言語モデル（Llama、Gemma、Qwenなど）と音声エンコーダ（whisper-large-v3-turbo）を中心に構築されています。

詳細な情報やGitHubリポジトリは、https://ultravox.ai をご覧ください。

🚀 クイックスタート

このモデルは、音声を「聴き」、理解することができる大規模言語モデルとして機能します。したがって、音声エージェントとして使用したり、音声翻訳や音声分析などに利用することができます。

# pip install transformers peft librosa

import transformers
import numpy as np
import librosa

pipe = transformers.pipeline(model='fixie-ai/ultravox-v0_6-llama-3_1-8b', trust_remote_code=True)

path = "<path-to-input-audio>"  # TODO: pass the audio here
audio, sr = librosa.load(path, sr=16000)

turns = [
  {
    "role": "system",
    "content": "You are a friendly and helpful character. You love to answer questions for people."
  },
]
pipe({'audio': audio, 'turns': turns, 'sampling_rate': sr}, max_new_tokens=30)

✨ 主な機能

• 多模态入力：音声とテキストの入力を同時に処理できます。
• 多言語対応：アラビア語、ベラルーシ語、ブルガリア語など、多くの言語をサポートしています。
• ノイズ耐性：v0.6シリーズでは、ノイズデータセットを用いて学習を行い、ノイズ耐性を向上させています。
• 将来的な計画：語彙を拡張し、意味論的および音響的な音声トークンの生成をサポートし、音声出力を実現する予定です。

📦 インストール

ドキュメントに具体的なインストール手順は記載されていません。インストール情報については、モデルのリポジトリを参照してください。

💻 使用例

基本的な使用法

# pip install transformers peft librosa

import transformers
import numpy as np
import librosa

pipe = transformers.pipeline(model='fixie-ai/ultravox-v0_6-llama-3_1-8b', trust_remote_code=True)

path = "<path-to-input-audio>"  # TODO: pass the audio here
audio, sr = librosa.load(path, sr=16000)

turns = [
  {
    "role": "system",
    "content": "You are a friendly and helpful character. You love to answer questions for people."
  },
]
pipe({'audio': audio, 'turns': turns, 'sampling_rate': sr}, max_new_tokens=30)

📚 ドキュメント

モデルの詳細

モデルの説明

Ultravoxは多模态モデルで、音声とテキストを同時に入力として受け取ることができます（例えば、テキストのシステムプロンプトと音声のユーザーメッセージ）。モデルの入力は、特殊な <|audio|> 疑似トークンを含むテキストプロンプトで、モデルのプロセッサーがこの特殊トークンを入力音声から抽出した埋め込みに置き換えます。結合された埋め込みを入力として、モデルは通常通り出力テキストを生成します。

v0.6シリーズでは、Ultravoxモデルは拡張されたヒンディー語の音声データで学習されており、ヒンディー語の音声理解性能が大幅に向上していますが、他の言語では若干の性能低下が見られます。さらに、v0.6モデルはノイズデータセットで学習され、ノイズ耐性が向上しており、入力音声が非常にノイズが多い場合や明瞭な音声を含まない場合には、特殊な文字列 ((noise)) を出力します。

Ultravoxの将来のバージョンでは、語彙を拡張し、意味論的および音響的な音声トークンの生成をサポートし、これらのトークンを音声合成器に入力して音声出力を生成する予定です。このバージョンのモデルは、嗜好調整が行われていません。

• 開発者：Fixie.ai
• ライセンス：MIT

モデルのソース

• リポジトリ：https://ultravox.ai
• デモ：リポジトリを参照してください。

学習の詳細

学習データ

学習データセットは、自動音声認識（ASR）データセット、Llama 3.1 8Bによって生成された拡張データ、音声翻訳データセット、およびノイズデータセットの混合です。

学習プロセス

知識蒸留を用いた教師付き音声指令微調整によって行われています。詳細な情報は、Ultravoxリポジトリの学習コード を参照してください。

学習ハイパーパラメータ

• 学習モード：BF16混合精度学習
• 使用ハードウェア：8つのH100 GPU

速度、サイズ、時間

現在のバージョンのUltravoxは、音声コンテンツを処理する際に、テキストベースの大規模言語モデル（Llama、Gemma、またはQwen）をバックボーンとして使用しています。A100-40GB GPUでの最初の出力トークン時間（TTFT）は約150ミリ秒で、1秒あたりの出力トークン率は約50 - 100です。

毎日のベンチマークテストや他の既存モデルとの比較については、TheFastest.ai の音声ラベルを参照してください。

評価

評価は、covost2（音声翻訳、BLEUで測定）、fleursおよびultravox_calls（音声認識、単語誤り率WERで測定）、big bench audio（音声推論、正解率で測定）、ならびにmusanおよびultravox_unintelligible（ノイズ/理解困難な音声検出、再現率で測定）で行われました。

🔧 技術詳細

Ultravoxモデルは、事前学習された大規模言語モデル（Llama、Gemma、Qwenなど）と音声エンコーダ（whisper-large-v3-turbo）を中心に構築されています。多模态アダプターが学習され、Whisperエンコーダが微調整され、大規模言語モデルは凍結されたままです。知識蒸留損失を使用して、Ultravoxはテキストベースの大規模言語モデルバックボーンの対数確率を一致させようとします。

📄 ライセンス

このモデルはMITライセンスの下で提供されています。