Orpheus 3b Chinese FT Q8 0.gguf

🚀 Orpheus-3b-中文-微調-Q8_0

這是一個經過量化的文本轉語音（TTS）模型，專為自然、富有情感的語音合成而微調，在保持高效的同時提供高質量的語音輸出。

🚀 快速開始

下載模型

從 lex-au 的 Orpheus-FASTAPI 集合 下載此量化模型。

加載模型

將模型加載到你首選的大語言模型（LLM）推理服務器中並啟動服務器。

克隆倉庫

git clone https://github.com/Lex-au/Orpheus-FastAPI.git
cd Orpheus-FastAPI

配置服務器

通過設置 ORPHEUS_API_URL 環境變量，配置 FastAPI 服務器以連接到你的推理服務器。

完成安裝和設置

遵循 倉庫 README 中的完整安裝和設置說明。

✨ 主要特性

• 雙語音選項：提供 2 種不同特性的語音，分別為“長樂”（女性，普通話，溫柔）和“白芷”（女性，普通話，清晰）。
• 情感標籤支持：支持如笑聲、嘆息聲等情感標籤，讓語音更具表現力。
• CUDA 加速優化：針對 RTX GPU 進行了 CUDA 加速優化，提升推理效率。
• 高質量音頻輸出：生成 24kHz 的單聲道高質量音頻。
• 對話自然度微調：經過微調，語音輸出更符合對話的自然度。

📦 安裝指南

此量化模型可以加載到以下任何 LLM 推理服務器中：

• GPUStack - GPU 優化的 LLM 推理服務器（推薦），支持局域網/廣域網張量拆分並行化。
• LM Studio - 加載 GGUF 模型並啟動本地服務器。
• llama.cpp server - 使用適當的模型參數運行。
• 任何兼容的 OpenAI API 服務器。

💻 使用示例

基礎用法

本模型設計用於與連接到 Orpheus-FastAPI 前端的 LLM 推理服務器配合使用，該前端提供了 Web UI 和兼容 OpenAI 的 API 端點。

高級用法

你可以通過插入情感標籤來增強語音的表現力，例如：

<laugh>這真是太有趣了！<sigh>可惜時間過得太快了。

📚 詳細文檔

模型描述

Orpheus-3b-微調-Q8_0 是一個擁有 30 億參數的文本轉語音模型，它可以將文本輸入轉換為自然流暢的語音，並支持多種語音和情感表達。該模型已被量化為 8 位（Q8_0）格式，以實現高效推理，使其能夠在消費級硬件上運行。

可用語音

• 長樂：女性，普通話，溫柔。
• 白芷：女性，普通話，清晰。

情感標籤

• <laugh>，<chuckle>：用於笑聲。
• <sigh>：用於嘆息聲。
• <cough>，<sniffle>：用於輕微的中斷聲。
• <groan>，<yawn>，<gasp>：用於額外的情感表達。

🔧 技術細節

📄 許可證

此模型遵循 Apache 許可證 2.0。

📖 引用與歸屬

原始的 Orpheus 模型由 Canopy Labs 創建。本倉庫包含一個為 Orpheus-FastAPI 服務器優化的量化版本。

如果你在研究或應用中使用此量化模型，請引用：

@misc{orpheus-tts-2025,
  author = {Canopy Labs},
  title = {Orpheus-3b-0.1-ft: Text-to-Speech Model},
  year = {2025},
  publisher = {HuggingFace},
  howpublished = {\url{https://huggingface.co/canopylabs/orpheus-3b-0.1-ft}}
}

@misc{orpheus-quantised-2025,
  author = {Lex-au},
  title = {Orpheus-3b-FT-Q8_0: Quantised TTS Model with FastAPI Server},
  note = {GGUF quantisation of canopylabs/orpheus-3b-0.1-ft},
  year = {2025},
  publisher = {HuggingFace},
  howpublished = {\url{https://huggingface.co/lex-au/Orpheus-3b-FT-Q8_0.gguf}}
}

⚠️ 重要提示

該模型在支持 CUDA 的 GPU 上可實現最佳性能，生成速度取決於 GPU 能力。