Ultravox V0 4 1 Llama 3 3 70b

🚀 Ultravox模型卡片

Ultravox是一个多模态语音大语言模型（LLM），它基于预训练的[Llama3.3 - 70B - Instruct](https://huggingface.co/meta - llama/Llama - 3.3 - 70B - Instruct)和[whisper - large - v3 - turbo](https://huggingface.co/openai/whisper - large - v3 - turbo)骨干架构构建。

请访问https://ultravox.ai获取GitHub仓库和更多信息。

✨ 主要特性

• 多语言支持：支持阿拉伯语（ar）、德语（de）、英语（en）、西班牙语（es）、法语（fr）、印地语（hi）、意大利语（it）、日语（ja）、荷兰语（nl）、葡萄牙语（pt）、俄语（ru）、瑞典语（sv）、土耳其语（tr）、乌克兰语（uk）和中文（zh）等多种语言。
• 多模态能力：能够同时处理语音和文本输入，例如文本系统提示和语音用户消息。
• 广泛的数据集支持：使用了多个数据集进行训练，包括fixie - ai/librispeech_asr、fixie - ai/common_voice_17_0等。
• 多任务处理：可作为语音代理，还能进行语音到语音的翻译、语音音频分析等任务。

📦 安装指南

使用该模型前，你可以运行以下命令安装所需的库：

pip install transformers peft librosa

💻 使用示例

基础用法

# pip install transformers peft librosa

import transformers
import numpy as np
import librosa

pipe = transformers.pipeline(model='fixie-ai/ultravox-v0_4_1-llama-3_1-70b', trust_remote_code=True)

path = "<path-to-input-audio>"  # TODO: pass the audio here
audio, sr = librosa.load(path, sr=16000)


turns = [
  {
    "role": "system",
    "content": "You are a friendly and helpful character. You love to answer questions for people."
  },
]
pipe({'audio': audio, 'turns': turns, 'sampling_rate': sr}, max_new_tokens=30)

📚 详细文档

模型详情

模型描述

Ultravox是一个多模态模型，它可以同时接受语音和文本作为输入（例如，一个文本系统提示和语音用户消息）。模型的输入是一个带有特殊<|audio|>伪标记的文本提示，模型处理器会用从输入音频中提取的嵌入替换这个特殊标记。以合并后的嵌入作为输入，模型将像往常一样生成输出文本。

在Ultravox的未来版本中，我们计划扩展标记词汇表，以支持生成语义和声学音频标记，然后将这些标记输入到声码器中以产生语音输出。此版本的模型未进行偏好调整。

• 开发者：Fixie.ai
• 许可证：MIT

模型来源

• 仓库：https://ultravox.ai
• 演示：请查看仓库

训练详情

训练数据

训练数据集是自动语音识别（ASR）数据集的混合体，并扩展了由Llama 3.1 8B生成的后续内容，以及语音翻译数据集，这在翻译评估中带来了适度的改进。

训练过程

通过知识蒸馏进行有监督的语音指令微调。更多信息，请参阅[Ultravox仓库中的训练代码](https://github.com/fixie - ai/ultravox/blob/main/ultravox/training/train.py)。

训练超参数

• 训练机制：BF16混合精度训练
• 使用的硬件：8个H100 GPU

速度、大小和时间

当前版本的Ultravox在处理音频内容时，使用Llama 3.3 70B骨干架构和A100 - 40GB GPU，首次输出标记的时间（TTFT）约为150毫秒，每秒输出标记的速率约为50 - 100。

请查看TheFastest.ai的音频标签，了解每日基准测试以及与其他现有模型的比较。

评估

📄 许可证

本模型使用的许可证为MIT许可证。