Ultravox V0 4 1 Llama 3 3 70b

🚀 Ultravox模型卡片

Ultravox是一個多模態語音大語言模型（LLM），它基於預訓練的[Llama3.3 - 70B - Instruct](https://huggingface.co/meta - llama/Llama - 3.3 - 70B - Instruct)和[whisper - large - v3 - turbo](https://huggingface.co/openai/whisper - large - v3 - turbo)骨幹架構構建。

請訪問https://ultravox.ai獲取GitHub倉庫和更多信息。

✨ 主要特性

• 多語言支持：支持阿拉伯語（ar）、德語（de）、英語（en）、西班牙語（es）、法語（fr）、印地語（hi）、意大利語（it）、日語（ja）、荷蘭語（nl）、葡萄牙語（pt）、俄語（ru）、瑞典語（sv）、土耳其語（tr）、烏克蘭語（uk）和中文（zh）等多種語言。
• 多模態能力：能夠同時處理語音和文本輸入，例如文本系統提示和語音用戶消息。
• 廣泛的數據集支持：使用了多個數據集進行訓練，包括fixie - ai/librispeech_asr、fixie - ai/common_voice_17_0等。
• 多任務處理：可作為語音代理，還能進行語音到語音的翻譯、語音音頻分析等任務。

📦 安裝指南

使用該模型前，你可以運行以下命令安裝所需的庫：

pip install transformers peft librosa

💻 使用示例

基礎用法

# pip install transformers peft librosa

import transformers
import numpy as np
import librosa

pipe = transformers.pipeline(model='fixie-ai/ultravox-v0_4_1-llama-3_1-70b', trust_remote_code=True)

path = "<path-to-input-audio>"  # TODO: pass the audio here
audio, sr = librosa.load(path, sr=16000)


turns = [
  {
    "role": "system",
    "content": "You are a friendly and helpful character. You love to answer questions for people."
  },
]
pipe({'audio': audio, 'turns': turns, 'sampling_rate': sr}, max_new_tokens=30)

📚 詳細文檔

模型詳情

模型描述

Ultravox是一個多模態模型，它可以同時接受語音和文本作為輸入（例如，一個文本系統提示和語音用戶消息）。模型的輸入是一個帶有特殊<|audio|>偽標記的文本提示，模型處理器會用從輸入音頻中提取的嵌入替換這個特殊標記。以合併後的嵌入作為輸入，模型將像往常一樣生成輸出文本。

在Ultravox的未來版本中，我們計劃擴展標記詞彙表，以支持生成語義和聲學音頻標記，然後將這些標記輸入到聲碼器中以產生語音輸出。此版本的模型未進行偏好調整。

• 開發者：Fixie.ai
• 許可證：MIT

模型來源

• 倉庫：https://ultravox.ai
• 演示：請查看倉庫

訓練詳情

訓練數據

訓練數據集是自動語音識別（ASR）數據集的混合體，並擴展了由Llama 3.1 8B生成的後續內容，以及語音翻譯數據集，這在翻譯評估中帶來了適度的改進。

訓練過程

通過知識蒸餾進行有監督的語音指令微調。更多信息，請參閱[Ultravox倉庫中的訓練代碼](https://github.com/fixie - ai/ultravox/blob/main/ultravox/training/train.py)。

訓練超參數

• 訓練機制：BF16混合精度訓練
• 使用的硬件：8個H100 GPU

速度、大小和時間

當前版本的Ultravox在處理音頻內容時，使用Llama 3.3 70B骨幹架構和A100 - 40GB GPU，首次輸出標記的時間（TTFT）約為150毫秒，每秒輸出標記的速率約為50 - 100。

請查看TheFastest.ai的音頻標籤，瞭解每日基準測試以及與其他現有模型的比較。

評估

📄 許可證

本模型使用的許可證為MIT許可證。