Ultravox V0 6 Gemma 3 27b

🚀 Ultravoxモデルカード

Ultravoxは、多モーダル音声大規模言語モデル（LLM）です。このモデルは、事前学習された大規模言語モデル（Llama、Gemma、Qwenなど）と音声エンコーダ（whisper-large-v3-turbo）を中心に構築されています。音声とテキストの入力を同時に処理でき、音声対話シーンに強力なサポートを提供します。

詳細な情報は、GitHubリポジトリをご覧ください：https://ultravox.ai 。

🚀 クイックスタート

このモデルは、音声を「聞き」、理解することができる大規模言語モデルと見なすことができます。したがって、音声エージェントとして使用したり、音声から音声への翻訳や音声分析などを行うことができます。

このモデルを使用するには、以下のコードを参考にしてください：

# pip install transformers peft librosa

import transformers
import numpy as np
import librosa

pipe = transformers.pipeline(model='fixie-ai/ultravox-v0_6-llama-3_1-8b', trust_remote_code=True)

path = "<path-to-input-audio>"  # TODO: pass the audio here
audio, sr = librosa.load(path, sr=16000)


turns = [
  {
    "role": "system",
    "content": "You are a friendly and helpful character. You love to answer questions for people."
  },
]
pipe({'audio': audio, 'turns': turns, 'sampling_rate': sr}, max_new_tokens=30)

✨ 主な機能

• 多モーダル入力：音声とテキストを入力としてサポートし、特殊な <|audio|> 擬似トークンを通じて音声入力を処理します。
• 言語性能の最適化：v0.6シリーズはヒンディー語の音声データで学習されており、ヒンディー語の音声理解性能が大幅に向上しています。
• 耐ノイズ性の強化：ノイズデータセットで学習することで、ノイズに対するロバスト性が向上し、雑音の多い音声も識別できます。
• 将来の機能計画：語彙を拡張し、意味論的および音響的な音声トークンの生成をサポートし、音声出力を実現する予定です。

📚 ドキュメント

🔍 モデルの詳細

📖 モデルの説明

Ultravoxは多モーダルモデルで、音声とテキストを同時に入力として受け付けることができます（例えば、テキストのシステムプロンプトと音声のユーザーメッセージ）。モデルの入力は、特殊な <|audio|> 擬似トークンを含むテキストプロンプトで、モデルプロセッサーはこのトークンを入力音声から抽出された埋め込みで置き換えます。結合された埋め込みを入力として、モデルは通常通り出力テキストを生成します。

v0.6シリーズでは、Ultravoxモデルは拡張されたヒンディー語の音声データで学習されており、これによりヒンディー語の音声理解性能が大幅に向上していますが、他の言語の性能にはわずかな影響があります。また、v0.6モデルはノイズデータセットで学習されており、耐ノイズ性を向上させており、入力音声が雑音が多い場合や明瞭な音声を含まない場合には、特殊な文字列 ((noise)) を出力します。

将来のバージョンでは、語彙を拡張して意味論的および音響的な音声トークンの生成をサポートし、それらのトークンを音声コーダーに入力して音声出力を生成する予定です。このバージョンのモデルは嗜好調整されていません。

• 開発者：Fixie.ai
• ライセンス：MIT

🌐 モデルのソース

• リポジトリ：https://ultravox.ai
• デモ：リポジトリを参照してください。

💻 使用方法

このモデルは、音声を「聞き」、理解することができる大規模言語モデルと見なすことができます。したがって、音声エージェントとして使用したり、音声から音声への翻訳や音声分析などを行うことができます。

🔧 学習の詳細

📊 学習データ

学習データセットは、自動音声認識（ASR）データセット、Llama 3.1 8Bで生成された拡張データ、音声翻訳データセット、およびノイズデータセットの混合です。

📋 学習プロセス

知識蒸留を通じて、有監督の音声指令微調整を行っています。詳細な情報は、Ultravoxリポジトリの学習コードを参照してください。

🎛️ 学習ハイパーパラメータ

• 学習モード：BF16混合精度学習
• 使用ハードウェア：8x H100 GPU

⏱️ 速度、サイズ、および時間

現在のバージョンのUltravoxは、音声コンテンツを処理する際に、テキストベースの大規模言語モデル（Llama、Gemma、またはQwen）をバックボーンとして使用しています。A100 - 40GB GPUでの最初のトークン生成時間（TTFT）は約150msで、毎秒約50 - 100個のトークンを生成します。

毎日のベンチマークテストや他の既存モデルとの比較については、TheFastest.ai の音声ラベルを参照してください。

📈 評価

評価は、covost2（音声翻訳、BLEUで測定）、fleursおよびultravox_calls（音声認識、WERで測定）、big bench audio（音声推論、正解率で測定）、ならびにmusanおよびultravox_unintelligible（ノイズ/理解困難な音声検出、再現率で測定）で行われました。

📄 ライセンス

このモデルはMITライセンスで提供されています。

📋 サポート言語

• ar
• be
• bg
• bn
• cs
• cy
• da
• de
• el
• en
• es
• et
• fa
• fi
• fr
• gl
• hi
• hu
• it
• ja
• ka
• lt
• lv
• mk
• mr
• nl
• pl
• pt
• ro
• ru
• sk
• sl
• sr
• sv
• sw
• ta
• th
• tr
• uk
• ur
• vi
• zh

📊 評価指標

• bleu

🚀 タスクタイプ

音声テキストからテキストへの変換