🚀 超音模型(Ultravox)
超音模型(Ultravox)是一個多模態語音大語言模型,它基於預訓練的 [Llama3.1 - 8B - Instruct](https://huggingface.co/meta - llama/Meta - Llama - 3.1 - 8B) 和 [whisper - large - v3 - turbo](https://huggingface.co/openai/whisper - large - v3 - turbo) 主幹構建。該模型能夠同時處理語音和文本輸入,具有廣泛的應用前景,如語音代理、語音到語音翻譯、語音音頻分析等。
🚀 快速開始
超音模型(Ultravox)可被視為一個能夠“聽”並理解語音的大語言模型。你可以將其用作語音代理,也可用於語音到語音的翻譯、對語音音頻進行分析等。
要使用該模型,可嘗試以下代碼:
import transformers
import numpy as np
import librosa
pipe = transformers.pipeline(model='fixie-ai/ultravox-v0_5-llama-3_1-8b', trust_remote_code=True)
path = "<path-to-input-audio>"
audio, sr = librosa.load(path, sr=16000)
turns = [
{
"role": "system",
"content": "You are a friendly and helpful character. You love to answer questions for people."
},
]
pipe({'audio': audio, 'turns': turns, 'sampling_rate': sr}, max_new_tokens=30)
✨ 主要特性
- 多模態輸入:能夠同時處理語音和文本輸入,例如可以接受文本系統提示和語音用戶消息。
- 未來擴展規劃:計劃在未來版本中擴展令牌詞彙表,支持生成語義和聲學音頻令牌,以實現語音輸出。
📦 安裝指南
使用前需安裝相關依賴庫:
pip install transformers peft librosa
📚 詳細文檔
模型詳情
模型描述
超音模型(Ultravox)是一個多模態模型,可將語音和文本作為輸入(例如,文本系統提示和語音用戶消息)。模型的輸入是帶有特殊 <|audio|>
偽令牌的文本提示,模型處理器會用從輸入音頻派生的嵌入替換這個魔法令牌。以合併後的嵌入作為輸入,模型將像往常一樣生成輸出文本。
在超音模型(Ultravox)的未來版本中,計劃擴展令牌詞彙表,以支持生成語義和聲學音頻令牌,然後將其輸入到聲碼器中以產生語音輸出。此版本的模型未應用偏好調整。
模型來源
- 倉庫:https://ultravox.ai
- 演示:見倉庫
訓練詳情
訓練數據
訓練數據集是自動語音識別(ASR)數據集和語音翻譯數據集的混合。其中,ASR 數據集通過 Llama 3.1 8B 生成的延續內容進行了擴展,這在翻譯評估中帶來了適度的改進。
訓練過程
通過知識蒸餾進行有監督的語音指令微調。更多信息,請參閱 [超音模型(Ultravox)倉庫中的訓練代碼](https://github.com/fixie - ai/ultravox/blob/main/ultravox/training/train.py)。
訓練超參數
- 訓練機制:BF16 混合精度訓練
- 使用的硬件:8 個 H100 GPU
速度、大小和時間
當前版本的超音模型(Ultravox)在處理音頻內容時,使用 Llama 3.1 8B 主幹和 A100 - 40GB GPU,首次生成令牌的時間(TTFT)約為 150 毫秒,每秒生成的令牌率約為 50 - 100。
請查看 [TheFastest.ai](https://thefastest.ai/?m = audio) 上的音頻標籤,以獲取每日基準測試和與其他現有模型的比較。
🔧 技術細節
模型使用預訓練的 [Llama3.1 - 8B - Instruct](https://huggingface.co/meta - llama/Meta - Llama - 3.1 - 8B) 主幹以及 [whisper - large - v3 - turbo](https://huggingface.co/openai/whisper - large - v3 - turbo) 的編碼器部分。多模態適配器進行訓練,Whisper 編碼器進行微調,而 Llama 模型保持凍結。
使用知識蒸餾損失,超音模型(Ultravox)試圖匹配基於文本的 Llama 主幹的對數概率。
📄 許可證
本模型使用 MIT 許可證。
評估
|
超音模型 0.4 8B |
超音模型 0.4.1 8B |
超音模型 0.5 8B |
covost2 en_ar |
11.17 |
12.28 |
12.99 |
covost2 en_ca |
27.46 |
29.94 |
31.54 |
covost2 en_de |
25.47 |
27.13 |
28.70 |
covost2 es_en |
37.11 |
39.16 |
40.19 |
covost2 ru_en |
38.96 |
39.65 |
42.13 |
covost2 zh_en |
10.08 |
14.55 |
17.22 |
big bench audio |
- |
63.20 |
66.54 |
信息表格
屬性 |
詳情 |
模型類型 |
多模態語音大語言模型 |
訓練數據 |
自動語音識別(ASR)數據集和語音翻譯數據集的混合,ASR 數據集通過 Llama 3.1 8B 生成的延續內容進行了擴展 |
訓練過程 |
通過知識蒸餾進行有監督的語音指令微調 |
訓練超參數 |
訓練機制:BF16 混合精度訓練;使用的硬件:8 個 H100 GPU |
速度指標 |
使用 Llama 3.1 8B 主幹和 A100 - 40GB GPU 時,首次生成令牌的時間(TTFT)約為 150 毫秒,每秒生成的令牌率約為 50 - 100 |
許可證 |
MIT |