Ultravox V0 5 Llama 3 1 8b

🚀 超音模型（Ultravox）

超音模型（Ultravox）是一个多模态语音大语言模型，它基于预训练的 [Llama3.1 - 8B - Instruct](https://huggingface.co/meta - llama/Meta - Llama - 3.1 - 8B) 和 [whisper - large - v3 - turbo](https://huggingface.co/openai/whisper - large - v3 - turbo) 主干构建。该模型能够同时处理语音和文本输入，具有广泛的应用前景，如语音代理、语音到语音翻译、语音音频分析等。

🚀 快速开始

超音模型（Ultravox）可被视为一个能够“听”并理解语音的大语言模型。你可以将其用作语音代理，也可用于语音到语音的翻译、对语音音频进行分析等。

要使用该模型，可尝试以下代码：

# pip install transformers peft librosa

import transformers
import numpy as np
import librosa

pipe = transformers.pipeline(model='fixie-ai/ultravox-v0_5-llama-3_1-8b', trust_remote_code=True)

path = "<path-to-input-audio>"  # TODO: pass the audio here
audio, sr = librosa.load(path, sr=16000)


turns = [
  {
    "role": "system",
    "content": "You are a friendly and helpful character. You love to answer questions for people."
  },
]
pipe({'audio': audio, 'turns': turns, 'sampling_rate': sr}, max_new_tokens=30)

✨ 主要特性

• 多模态输入：能够同时处理语音和文本输入，例如可以接受文本系统提示和语音用户消息。
• 未来扩展规划：计划在未来版本中扩展令牌词汇表，支持生成语义和声学音频令牌，以实现语音输出。

📦 安装指南

使用前需安装相关依赖库：

pip install transformers peft librosa

📚 详细文档

模型详情

模型描述

超音模型（Ultravox）是一个多模态模型，可将语音和文本作为输入（例如，文本系统提示和语音用户消息）。模型的输入是带有特殊 <|audio|> 伪令牌的文本提示，模型处理器会用从输入音频派生的嵌入替换这个魔法令牌。以合并后的嵌入作为输入，模型将像往常一样生成输出文本。

在超音模型（Ultravox）的未来版本中，计划扩展令牌词汇表，以支持生成语义和声学音频令牌，然后将其输入到声码器中以产生语音输出。此版本的模型未应用偏好调整。

• 开发者：Fixie.ai
• 许可证：MIT

模型来源

• 仓库：https://ultravox.ai
• 演示：见仓库

训练详情

训练数据

训练数据集是自动语音识别（ASR）数据集和语音翻译数据集的混合。其中，ASR 数据集通过 Llama 3.1 8B 生成的延续内容进行了扩展，这在翻译评估中带来了适度的改进。

训练过程

通过知识蒸馏进行有监督的语音指令微调。更多信息，请参阅 [超音模型（Ultravox）仓库中的训练代码](https://github.com/fixie - ai/ultravox/blob/main/ultravox/training/train.py)。

训练超参数

• 训练机制：BF16 混合精度训练
• 使用的硬件：8 个 H100 GPU

速度、大小和时间

当前版本的超音模型（Ultravox）在处理音频内容时，使用 Llama 3.1 8B 主干和 A100 - 40GB GPU，首次生成令牌的时间（TTFT）约为 150 毫秒，每秒生成的令牌率约为 50 - 100。

请查看 [TheFastest.ai](https://thefastest.ai/?m = audio) 上的音频标签，以获取每日基准测试和与其他现有模型的比较。

🔧 技术细节

模型使用预训练的 [Llama3.1 - 8B - Instruct](https://huggingface.co/meta - llama/Meta - Llama - 3.1 - 8B) 主干以及 [whisper - large - v3 - turbo](https://huggingface.co/openai/whisper - large - v3 - turbo) 的编码器部分。多模态适配器进行训练，Whisper 编码器进行微调，而 Llama 模型保持冻结。

使用知识蒸馏损失，超音模型（Ultravox）试图匹配基于文本的 Llama 主干的对数概率。

📄 许可证

本模型使用 MIT 许可证。

评估

信息表格