Ultravox V0 2

🚀 Ultravox

Ultravoxは、事前学習されたLlama3-8B-InstructとWhisper-smallをバックボーンとするマルチモーダル音声LLMです。
GitHubリポジトリや詳細情報については、https://ultravox.ai を参照してください。

🚀 クイックスタート

Ultravoxは、音声とテキストの両方を入力として受け取ることができるマルチモーダルモデルです。モデルの入力は、特殊な<|audio|>疑似トークンを含むテキストプロンプトとして与えられ、モデルプロセッサはこのマジックトークンを入力音声から導出された埋め込みに置き換えます。この結合された埋め込みを入力として、モデルは通常通り出力テキストを生成します。

✨ 主な機能

• 音声とテキストの両方を入力として受け取り、出力テキストを生成できます。
• 将来的には、音声出力を生成するためのサポートを拡張する予定です。

📦 インストール

# pip install transformers peft librosa

import transformers
import numpy as np
import librosa

pipe = transformers.pipeline(model='fixie-ai/ultravox-v0_2', trust_remote_code=True)

path = "<path-to-input-audio>"  # TODO: pass the audio here
audio, sr = librosa.load(path, sr=16000)


turns = [
  {
    "role": "system",
    "content": "You are a friendly and helpful character. You love to answer questions for people."
  },
]
pipe({'audio': audio, 'turns': turns, 'sampling_rate': sr}, max_new_tokens=30)

📚 ドキュメント

モデルの詳細

モデルの説明

Ultravoxは、音声とテキストの両方を入力として受け取ることができるマルチモーダルモデルです（例：テキストのシステムプロンプトと音声のユーザーメッセージ）。モデルの入力は、特殊な<|audio|>疑似トークンを含むテキストプロンプトとして与えられ、モデルプロセッサはこのマジックトークンを入力音声から導出された埋め込みに置き換えます。この結合された埋め込みを入力として、モデルは通常通り出力テキストを生成します。

将来的なUltravoxのリビジョンでは、トークン語彙を拡張して、意味的および音響的な音声トークンの生成をサポートする予定です。これらのトークンは、ボコーダーに供給されて音声出力を生成することができます。このモデルのこのリビジョンには、嗜好調整は適用されていません。

• 開発者: Fixie.ai
• ライセンス: MIT

モデルのソース

• リポジトリ: https://ultravox.ai
• デモ: リポジトリを参照

トレーニングの詳細

トレーニングデータ

トレーニングデータセットは、ASRデータセット（Gigaspeech）、命令追従およびQAデータ（AnyInstructとBoolQの拡張バージョン）、会話データ（SODAの最後の2ターンの代替生成を含む）の混合です。

トレーニング手順

教師付き音声から音声への微調整。詳細については、Ultravoxリポジトリのトレーニングコードを参照してください。

トレーニングハイパーパラメータ

• トレーニング方式: BF16混合精度トレーニング
• 使用ハードウェア: 8x A100-40GB GPU
• LLM LoRAランク: 64

速度、サイズ、時間

現在のバージョンのUltravoxは、音声コンテンツを指定して呼び出された場合、A100-40GB GPUを使用して、最初のトークンまでの時間（TTFT）が約200ms、1秒あたりのトークン生成速度が約50-100です。すべてLlama 3 8Bバックボーンを使用しています。

TheFastest.aiの音声タブで、毎日のベンチマークと他の既存モデルとの比較を確認できます。

評価

テストデータ、要因、メトリクス

テストデータ

[詳細情報が必要]

要因

[詳細情報が必要]

メトリクス

[詳細情報が必要]

結果

[詳細情報が必要]

要約

🔧 技術詳細

モデルは、事前学習されたLlama3-8B-InstructバックボーンとWhisper-smallのエンコーダー部分を使用しています。マルチモーダルプロジェクターは、まず段階1でトレーニングされ（バックボーンは凍結されたまま）、段階2では、Llama3もLoRAを使用して微調整されます。

📄 ライセンス

このモデルはMITライセンスの下で提供されています。