Orpheus 3b FT Q8 0.gguf

🚀 Orpheus-3b-FT-Q8_0

Orpheus-3b-FT-Q8_0 是一个文本转语音（TTS）模型，它基于 30 亿参数的 Orpheus 模型进行量化，支持多语音和情感表达，能将文本转换为自然流畅的语音，在保证输出质量的同时优化了推理效率，可在消费级硬件上运行。

🚀 快速开始

本模型需与连接到 Orpheus-FastAPI 前端的大语言模型（LLM）推理服务器配合使用，该前端提供 Web UI 和兼容 OpenAI 的 API 端点。

兼容的推理服务器

此量化模型可加载到以下任意 LLM 推理服务器中：

• GPUStack - GPU 优化的 LLM 推理服务器（推荐） - 支持局域网/广域网张量拆分并行化
• LM Studio - 加载 GGUF 模型并启动本地服务器
• llama.cpp server - 使用适当的模型参数运行
• 任何兼容 OpenAI API 的服务器

快速上手步骤

1. 从 lex-au 的 Orpheus-FASTAPI 集合 下载此量化模型。
2. 将模型加载到你首选的推理服务器中并启动服务器。
3. 克隆 Orpheus-FastAPI 仓库：

git clone https://github.com/Lex-au/Orpheus-FastAPI.git
cd Orpheus-FastAPI

4. 通过设置 ORPHEUS_API_URL 环境变量，配置 FastAPI 服务器以连接到你的推理服务器。
5. 遵循 仓库 README 中的完整安装和设置说明。

音频示例

你可以通过以下音频示例，感受模型在不同语音和情感下的表现：

默认语音示例

莉亚（快乐）

塔拉（悲伤）

扎克（沉思）

✨ 主要特性

• 多种语音选择：提供 8 种具有不同特征的语音选项。
• 情感标签支持：支持如笑声、叹息声等情感标签。
• GPU 加速优化：针对 RTX GPU 的 CUDA 加速进行了优化。
• 高质量音频输出：生成 24kHz 的单声道高质量音频。
• 对话自然度微调：针对对话自然度进行了微调。

📚 详细文档

可用语音

模型支持以下 8 种不同的语音：

• tara：女性，对话风格，声音清晰
• leah：女性，温暖柔和
• jess：女性，充满活力，年轻感十足
• leo：男性，权威性，声音深沉
• dan：男性，友好，休闲风格
• mia：女性，专业，表达清晰
• zac：男性，热情，富有活力
• zoe：女性，平静，舒缓

情感标签

你可以通过插入以下标签为语音增添表现力：

• <laugh>、<chuckle>：用于笑声
• <sigh>：用于叹息声
• <cough>、<sniffle>：用于细微的打断声
• <groan>、<yawn>、<gasp>：用于额外的情感表达

🔧 技术细节

技术规格

局限性

• 语言支持：目前仅支持英文文本。
• 硬件依赖：在支持 CUDA 的 GPU 上可实现最佳性能。
• 生成速度：生成速度取决于 GPU 性能。

📄 许可证

本模型遵循 Apache 许可证 2.0。

引用与归属

原始的 Orpheus 模型由 Canopy Labs 创建。本仓库包含一个为 Orpheus-FastAPI 服务器优化的量化版本。

如果您在研究或应用中使用此量化模型，请引用：

@misc{orpheus-tts-2025,
  author = {Canopy Labs},
  title = {Orpheus-3b-0.1-ft: Text-to-Speech Model},
  year = {2025},
  publisher = {HuggingFace},
  howpublished = {\url{https://huggingface.co/canopylabs/orpheus-3b-0.1-ft}}
}

@misc{orpheus-quantised-2025,
  author = {Lex-au},
  title = {Orpheus-3b-FT-Q8_0: Quantised TTS Model with FastAPI Server},
  note = {GGUF quantisation of canopylabs/orpheus-3b-0.1-ft},
  year = {2025},
  publisher = {HuggingFace},
  howpublished = {\url{https://huggingface.co/lex-au/Orpheus-3b-FT-Q8_0.gguf}}
}