Ultravox V0 5 Llama 3 1 8b

🚀 超音模型（Ultravox）

超音模型（Ultravox）是一個多模態語音大語言模型，它基於預訓練的 [Llama3.1 - 8B - Instruct](https://huggingface.co/meta - llama/Meta - Llama - 3.1 - 8B) 和 [whisper - large - v3 - turbo](https://huggingface.co/openai/whisper - large - v3 - turbo) 主幹構建。該模型能夠同時處理語音和文本輸入，具有廣泛的應用前景，如語音代理、語音到語音翻譯、語音音頻分析等。

🚀 快速開始

超音模型（Ultravox）可被視為一個能夠“聽”並理解語音的大語言模型。你可以將其用作語音代理，也可用於語音到語音的翻譯、對語音音頻進行分析等。

要使用該模型，可嘗試以下代碼：

# pip install transformers peft librosa

import transformers
import numpy as np
import librosa

pipe = transformers.pipeline(model='fixie-ai/ultravox-v0_5-llama-3_1-8b', trust_remote_code=True)

path = "<path-to-input-audio>"  # TODO: pass the audio here
audio, sr = librosa.load(path, sr=16000)


turns = [
  {
    "role": "system",
    "content": "You are a friendly and helpful character. You love to answer questions for people."
  },
]
pipe({'audio': audio, 'turns': turns, 'sampling_rate': sr}, max_new_tokens=30)

✨ 主要特性

• 多模態輸入：能夠同時處理語音和文本輸入，例如可以接受文本系統提示和語音用戶消息。
• 未來擴展規劃：計劃在未來版本中擴展令牌詞彙表，支持生成語義和聲學音頻令牌，以實現語音輸出。

📦 安裝指南

使用前需安裝相關依賴庫：

pip install transformers peft librosa

📚 詳細文檔

模型詳情

模型描述

超音模型（Ultravox）是一個多模態模型，可將語音和文本作為輸入（例如，文本系統提示和語音用戶消息）。模型的輸入是帶有特殊 <|audio|> 偽令牌的文本提示，模型處理器會用從輸入音頻派生的嵌入替換這個魔法令牌。以合併後的嵌入作為輸入，模型將像往常一樣生成輸出文本。

在超音模型（Ultravox）的未來版本中，計劃擴展令牌詞彙表，以支持生成語義和聲學音頻令牌，然後將其輸入到聲碼器中以產生語音輸出。此版本的模型未應用偏好調整。

• 開發者：Fixie.ai
• 許可證：MIT

模型來源

• 倉庫：https://ultravox.ai
• 演示：見倉庫

訓練詳情

訓練數據

訓練數據集是自動語音識別（ASR）數據集和語音翻譯數據集的混合。其中，ASR 數據集通過 Llama 3.1 8B 生成的延續內容進行了擴展，這在翻譯評估中帶來了適度的改進。

訓練過程

通過知識蒸餾進行有監督的語音指令微調。更多信息，請參閱 [超音模型（Ultravox）倉庫中的訓練代碼](https://github.com/fixie - ai/ultravox/blob/main/ultravox/training/train.py)。

訓練超參數

• 訓練機制：BF16 混合精度訓練
• 使用的硬件：8 個 H100 GPU

速度、大小和時間

當前版本的超音模型（Ultravox）在處理音頻內容時，使用 Llama 3.1 8B 主幹和 A100 - 40GB GPU，首次生成令牌的時間（TTFT）約為 150 毫秒，每秒生成的令牌率約為 50 - 100。

請查看 [TheFastest.ai](https://thefastest.ai/?m = audio) 上的音頻標籤，以獲取每日基準測試和與其他現有模型的比較。

🔧 技術細節

模型使用預訓練的 [Llama3.1 - 8B - Instruct](https://huggingface.co/meta - llama/Meta - Llama - 3.1 - 8B) 主幹以及 [whisper - large - v3 - turbo](https://huggingface.co/openai/whisper - large - v3 - turbo) 的編碼器部分。多模態適配器進行訓練，Whisper 編碼器進行微調，而 Llama 模型保持凍結。

使用知識蒸餾損失，超音模型（Ultravox）試圖匹配基於文本的 Llama 主幹的對數概率。

📄 許可證

本模型使用 MIT 許可證。

評估

信息表格