Ultravox V0 2

🚀 Ultravox模型卡片

Ultravox是一个多模态语音大语言模型（LLM），它基于预训练的[Llama3 - 8B - Instruct](https://huggingface.co/meta - llama/Meta - Llama - 3 - 8B)和[Whisper - small](https://huggingface.co/openai/whisper - small)骨干架构构建。查看https://ultravox.ai 可获取GitHub仓库和更多信息。

🚀 快速开始

Ultravox可作为一个能“听”且能理解语音的大语言模型使用。因此，它可以用作语音代理，还能进行语音到语音的翻译、语音音频分析等。

要使用该模型，可尝试以下代码：

# pip install transformers peft librosa

import transformers
import numpy as np
import librosa

pipe = transformers.pipeline(model='fixie-ai/ultravox-v0_2', trust_remote_code=True)

path = "<path-to-input-audio>"  # TODO: pass the audio here
audio, sr = librosa.load(path, sr=16000)


turns = [
  {
    "role": "system",
    "content": "You are a friendly and helpful character. You love to answer questions for people."
  },
]
pipe({'audio': audio, 'turns': turns, 'sampling_rate': sr}, max_new_tokens=30)

✨ 主要特性

• 多模态输入：可以同时处理语音和文本输入，例如文本系统提示和语音用户消息。
• 未来拓展：计划在未来版本中扩展词表，以支持生成语义和声学音频标记，进而生成语音输出。

📦 安装指南

pip install transformers peft librosa

💻 使用示例

基础用法

# pip install transformers peft librosa

import transformers
import numpy as np
import librosa

pipe = transformers.pipeline(model='fixie-ai/ultravox-v0_2', trust_remote_code=True)

path = "<path-to-input-audio>"  # TODO: pass the audio here
audio, sr = librosa.load(path, sr=16000)


turns = [
  {
    "role": "system",
    "content": "You are a friendly and helpful character. You love to answer questions for people."
  },
]
pipe({'audio': audio, 'turns': turns, 'sampling_rate': sr}, max_new_tokens=30)

高级用法

目前文档未提供高级用法相关内容。

📚 详细文档

模型详情

模型描述

Ultravox是一个多模态模型，它可以同时接受语音和文本作为输入（例如，文本系统提示和语音用户消息）。模型的输入是一个带有特殊 <|audio|> 伪标记的文本提示，模型处理器会用从输入音频中提取的嵌入向量替换这个特殊标记。以合并后的嵌入向量作为输入，模型将像往常一样生成输出文本。

在Ultravox的未来版本中，我们计划扩展词表，以支持生成语义和声学音频标记，然后将这些标记输入声码器以产生语音输出。此版本的模型尚未进行偏好调整。

训练详情

训练数据

训练数据集是自动语音识别（ASR）数据集（Gigaspeech）、指令遵循和问答数据（AnyInstruct和BoolQ的扩展版本）以及对话数据（SODA，最后两轮有替代生成）的混合。

训练过程

• 第一阶段：先训练多模态投影器，同时冻结骨干模型。
• 第二阶段：使用低秩自适应（LoRA）对Llama3进行微调。

训练超参数

• 训练模式：BF16混合精度训练
• 使用硬件：8块A100 - 40GB GPU
• 大语言模型LoRA秩：64

速度、大小和时间

当前版本的Ultravox在处理音频内容时，使用Llama 3 8B骨干架构和A100 - 40GB GPU，首次生成标记的时间（TTFT）约为200ms，每秒生成标记的速率约为50 - 100。

查看TheFastest.ai的音频标签页，可获取每日基准测试数据并与其他现有模型进行比较。

评估

目前文档中测试数据、影响因素、评估指标及结果部分均未提供足够信息。

📄 许可证

本模型使用的许可证为MIT许可证。