🚀 Ultravox模型卡
Ultravox是一個多模態語音大語言模型(LLM),它基於預訓練的Mistral - Nemo - Instruct - 2407和whisper - large - v3 - turbo主幹構建。
請訪問https://ultravox.ai查看GitHub倉庫和更多信息。
🚀 快速開始
你可以將該模型視為一個也能“聽”懂語音的大語言模型。因此,它可以用作語音代理,還能進行語音到語音的翻譯、對語音音頻進行分析等。
使用該模型,可嘗試以下代碼:
import transformers
import numpy as np
import librosa
pipe = transformers.pipeline(model='fixie-ai/ultravox-v0_4_1-mistral-nemo', trust_remote_code=True)
path = "<path-to-input-audio>"
audio, sr = librosa.load(path, sr=16000)
turns = [
{
"role": "system",
"content": "You are a friendly and helpful character. You love to answer questions for people."
},
]
pipe({'audio': audio, 'turns': turns, 'sampling_rate': sr}, max_new_tokens=30)
✨ 主要特性
- 支持多種語言,包括阿拉伯語(ar)、德語(de)、英語(en)、西班牙語(es)、法語(fr)、印地語(hi)、意大利語(it)、日語(ja)、荷蘭語(nl)、葡萄牙語(pt)、俄語(ru)、瑞典語(sv)、土耳其語(tr)、烏克蘭語(uk)和中文(zh)。
- 能夠同時處理語音和文本輸入,例如文本系統提示和語音用戶消息。
📚 詳細文檔
模型詳情
模型描述
Ultravox是一個多模態模型,它可以同時接受語音和文本作為輸入(例如,一個文本系統提示和一個語音用戶消息)。模型的輸入是一個帶有特殊 <|audio|>
偽標記的文本提示,模型處理器會用從輸入音頻中提取的嵌入替換這個特殊標記。以合併後的嵌入作為輸入,模型將像往常一樣生成輸出文本。
在Ultravox的未來版本中,我們計劃擴展標記詞彙表,以支持生成語義和聲學音頻標記,然後將這些標記輸入到聲碼器中以產生語音輸出。此版本的模型尚未進行偏好調整。
模型來源
- 倉庫:https://ultravox.ai
- 演示:請查看倉庫
訓練詳情
訓練數據
訓練數據集是自動語音識別(ASR)數據集的混合體,其中擴展了由Mistral Nemo生成的後續內容,以及語音翻譯數據集,這在翻譯評估中帶來了適度的改進。
訓練過程
通過知識蒸餾進行有監督的語音指令微調。更多信息,請參閱Ultravox倉庫中的訓練代碼。
訓練超參數
- 訓練機制:BF16混合精度訓練
- 使用的硬件:8個H100 GPU
速度、大小、時間
當前版本的Ultravox在處理音頻內容時,當使用帶有Mistral Nemo主幹的A100 - 40GB GPU時,首次生成標記的時間(TTFT)約為150毫秒,每秒生成標記的速率約為50 - 100。
請查看TheFastest.ai上的音頻頁面,瞭解每日基準測試以及與其他現有模型的比較。
評估
|
Ultravox 0.4.1 Mistral Nemo |
英語 - 阿拉伯語(en_ar) |
10.36 |
英語 - 德語(en_de) |
28.39 |
西班牙語 - 英語(es_en) |
37.49 |
俄語 - 英語(ru_en) |
41.64 |
英語 - 加泰羅尼亞語(en_ca) |
26.85 |
中文 - 英語(zh_en) |
12.65 |
📄 許可證
本模型使用的許可證為MIT。