Ultravox V0 3

🚀 ウルトラボックス (Ultravox)

ウルトラボックス (Ultravox) は、事前学習済みの Llama3.1-8B-Instruct と Whisper-small をバックボーンに構築されたマルチモーダル音声大規模言語モデル (LLM) です。GitHubリポジトリや詳細情報については、https://ultravox.ai を参照してください。

🚀 クイックスタート

ウルトラボックス (Ultravox) は、音声とテキストの両方を入力として扱うことができるマルチモーダルモデルです。このモデルは、音声エージェントとして使用したり、音声翻訳や音声分析などに活用することができます。

✨ 主な機能

• 音声とテキストの両方を入力として受け付けることができます。
• 特殊な <|audio|> 疑似トークンを使用して、音声入力をモデルに渡すことができます。
• 将来的には、音声出力をサポートする予定です。

📦 インストール

モデルを使用するには、以下のコマンドを実行して必要なライブラリをインストールします。

# pip install transformers peft librosa

import transformers
import numpy as np
import librosa

pipe = transformers.pipeline(model='fixie-ai/ultravox-v0_3', trust_remote_code=True)

path = "<path-to-input-audio>"  # TODO: pass the audio here
audio, sr = librosa.load(path, sr=16000)


turns = [
  {
    "role": "system",
    "content": "You are a friendly and helpful character. You love to answer questions for people."
  },
]
pipe({'audio': audio, 'turns': turns, 'sampling_rate': sr}, max_new_tokens=30)

📚 ドキュメント

モデルの詳細

モデルの説明

ウルトラボックス (Ultravox) は、音声とテキストの両方を入力として受け付けることができるマルチモーダルモデルです。モデルへの入力は、特殊な <|audio|> 疑似トークンを含むテキストプロンプトとして与えられ、モデルプロセッサはこのマジックトークンを入力音声から導出された埋め込みで置き換えます。マージされた埋め込みを入力として、モデルは通常通り出力テキストを生成します。

将来のバージョンでは、トークン語彙を拡張して、意味的および音響的な音声トークンの生成をサポートする予定です。これらのトークンは、ボコーダーに供給されて音声出力を生成することができます。

• 開発者: Fixie.ai
• ライセンス: MIT

モデルのソース

• リポジトリ: https://ultravox.ai
• デモ: リポジトリを参照してください

学習の詳細

学習データ

学習データセットは、ASRデータセットの混合であり、Llama 3.1 8Bによって生成された「続き」を追加することで拡張されています。

学習手順

教師付き音声から音声への微調整を行っています。詳細については、ウルトラボックス (Ultravox) リポジトリの学習コード を参照してください。

学習ハイパーパラメータ

• 学習方式: BF16混合精度学習
• 使用ハードウェア: 8x H100 GPU

速度、サイズ、時間

現在のウルトラボックス (Ultravox) のバージョンでは、音声コンテンツを使用して呼び出すと、最初のトークンまでの時間 (TTFT) は約200msで、A100-40GB GPUを使用した場合の1秒あたりのトークン生成速度は約50-100です。すべてLlama 3.1 8Bバックボーンを使用しています。

TheFastest.ai の音声タブで、毎日のベンチマークと他の既存モデルとの比較を確認できます。

評価

📄 ライセンス

このモデルは、MITライセンスの下で提供されています。