🚀 超音模型(Ultravox)
超音模型(Ultravox)是一个多模态语音大语言模型,它基于预训练的 [Llama3.1 - 8B - Instruct](https://huggingface.co/meta - llama/Meta - Llama - 3.1 - 8B) 和 [whisper - large - v3 - turbo](https://huggingface.co/openai/whisper - large - v3 - turbo) 主干构建。该模型能够同时处理语音和文本输入,具有广泛的应用前景,如语音代理、语音到语音翻译、语音音频分析等。
🚀 快速开始
超音模型(Ultravox)可被视为一个能够“听”并理解语音的大语言模型。你可以将其用作语音代理,也可用于语音到语音的翻译、对语音音频进行分析等。
要使用该模型,可尝试以下代码:
import transformers
import numpy as np
import librosa
pipe = transformers.pipeline(model='fixie-ai/ultravox-v0_5-llama-3_1-8b', trust_remote_code=True)
path = "<path-to-input-audio>"
audio, sr = librosa.load(path, sr=16000)
turns = [
{
"role": "system",
"content": "You are a friendly and helpful character. You love to answer questions for people."
},
]
pipe({'audio': audio, 'turns': turns, 'sampling_rate': sr}, max_new_tokens=30)
✨ 主要特性
- 多模态输入:能够同时处理语音和文本输入,例如可以接受文本系统提示和语音用户消息。
- 未来扩展规划:计划在未来版本中扩展令牌词汇表,支持生成语义和声学音频令牌,以实现语音输出。
📦 安装指南
使用前需安装相关依赖库:
pip install transformers peft librosa
📚 详细文档
模型详情
模型描述
超音模型(Ultravox)是一个多模态模型,可将语音和文本作为输入(例如,文本系统提示和语音用户消息)。模型的输入是带有特殊 <|audio|>
伪令牌的文本提示,模型处理器会用从输入音频派生的嵌入替换这个魔法令牌。以合并后的嵌入作为输入,模型将像往常一样生成输出文本。
在超音模型(Ultravox)的未来版本中,计划扩展令牌词汇表,以支持生成语义和声学音频令牌,然后将其输入到声码器中以产生语音输出。此版本的模型未应用偏好调整。
模型来源
- 仓库:https://ultravox.ai
- 演示:见仓库
训练详情
训练数据
训练数据集是自动语音识别(ASR)数据集和语音翻译数据集的混合。其中,ASR 数据集通过 Llama 3.1 8B 生成的延续内容进行了扩展,这在翻译评估中带来了适度的改进。
训练过程
通过知识蒸馏进行有监督的语音指令微调。更多信息,请参阅 [超音模型(Ultravox)仓库中的训练代码](https://github.com/fixie - ai/ultravox/blob/main/ultravox/training/train.py)。
训练超参数
- 训练机制:BF16 混合精度训练
- 使用的硬件:8 个 H100 GPU
速度、大小和时间
当前版本的超音模型(Ultravox)在处理音频内容时,使用 Llama 3.1 8B 主干和 A100 - 40GB GPU,首次生成令牌的时间(TTFT)约为 150 毫秒,每秒生成的令牌率约为 50 - 100。
请查看 [TheFastest.ai](https://thefastest.ai/?m = audio) 上的音频标签,以获取每日基准测试和与其他现有模型的比较。
🔧 技术细节
模型使用预训练的 [Llama3.1 - 8B - Instruct](https://huggingface.co/meta - llama/Meta - Llama - 3.1 - 8B) 主干以及 [whisper - large - v3 - turbo](https://huggingface.co/openai/whisper - large - v3 - turbo) 的编码器部分。多模态适配器进行训练,Whisper 编码器进行微调,而 Llama 模型保持冻结。
使用知识蒸馏损失,超音模型(Ultravox)试图匹配基于文本的 Llama 主干的对数概率。
📄 许可证
本模型使用 MIT 许可证。
评估
|
超音模型 0.4 8B |
超音模型 0.4.1 8B |
超音模型 0.5 8B |
covost2 en_ar |
11.17 |
12.28 |
12.99 |
covost2 en_ca |
27.46 |
29.94 |
31.54 |
covost2 en_de |
25.47 |
27.13 |
28.70 |
covost2 es_en |
37.11 |
39.16 |
40.19 |
covost2 ru_en |
38.96 |
39.65 |
42.13 |
covost2 zh_en |
10.08 |
14.55 |
17.22 |
big bench audio |
- |
63.20 |
66.54 |
信息表格
属性 |
详情 |
模型类型 |
多模态语音大语言模型 |
训练数据 |
自动语音识别(ASR)数据集和语音翻译数据集的混合,ASR 数据集通过 Llama 3.1 8B 生成的延续内容进行了扩展 |
训练过程 |
通过知识蒸馏进行有监督的语音指令微调 |
训练超参数 |
训练机制:BF16 混合精度训练;使用的硬件:8 个 H100 GPU |
速度指标 |
使用 Llama 3.1 8B 主干和 A100 - 40GB GPU 时,首次生成令牌的时间(TTFT)约为 150 毫秒,每秒生成的令牌率约为 50 - 100 |
许可证 |
MIT |