Orpheus 3b FT Q8 0.gguf

🚀 Orpheus-3b-FT-Q8_0

Orpheus-3b-FT-Q8_0 是一個文本轉語音（TTS）模型，它基於 30 億參數的 Orpheus 模型進行量化，支持多語音和情感表達，能將文本轉換為自然流暢的語音，在保證輸出質量的同時優化了推理效率，可在消費級硬件上運行。

🚀 快速開始

本模型需與連接到 Orpheus-FastAPI 前端的大語言模型（LLM）推理服務器配合使用，該前端提供 Web UI 和兼容 OpenAI 的 API 端點。

兼容的推理服務器

此量化模型可加載到以下任意 LLM 推理服務器中：

• GPUStack - GPU 優化的 LLM 推理服務器（推薦） - 支持局域網/廣域網張量拆分並行化
• LM Studio - 加載 GGUF 模型並啟動本地服務器
• llama.cpp server - 使用適當的模型參數運行
• 任何兼容 OpenAI API 的服務器

快速上手步驟

1. 從 lex-au 的 Orpheus-FASTAPI 集合 下載此量化模型。
2. 將模型加載到你首選的推理服務器中並啟動服務器。
3. 克隆 Orpheus-FastAPI 倉庫：

git clone https://github.com/Lex-au/Orpheus-FastAPI.git
cd Orpheus-FastAPI

4. 通過設置 ORPHEUS_API_URL 環境變量，配置 FastAPI 服務器以連接到你的推理服務器。
5. 遵循 倉庫 README 中的完整安裝和設置說明。

音頻示例

你可以通過以下音頻示例，感受模型在不同語音和情感下的表現：

默認語音示例

莉亞（快樂）

塔拉（悲傷）

扎克（沉思）

✨ 主要特性

• 多種語音選擇：提供 8 種具有不同特徵的語音選項。
• 情感標籤支持：支持如笑聲、嘆息聲等情感標籤。
• GPU 加速優化：針對 RTX GPU 的 CUDA 加速進行了優化。
• 高質量音頻輸出：生成 24kHz 的單聲道高質量音頻。
• 對話自然度微調：針對對話自然度進行了微調。

📚 詳細文檔

可用語音

模型支持以下 8 種不同的語音：

• tara：女性，對話風格，聲音清晰
• leah：女性，溫暖柔和
• jess：女性，充滿活力，年輕感十足
• leo：男性，權威性，聲音深沉
• dan：男性，友好，休閒風格
• mia：女性，專業，表達清晰
• zac：男性，熱情，富有活力
• zoe：女性，平靜，舒緩

情感標籤

你可以通過插入以下標籤為語音增添表現力：

• <laugh>、<chuckle>：用於笑聲
• <sigh>：用於嘆息聲
• <cough>、<sniffle>：用於細微的打斷聲
• <groan>、<yawn>、<gasp>：用於額外的情感表達

🔧 技術細節

技術規格

侷限性

• 語言支持：目前僅支持英文文本。
• 硬件依賴：在支持 CUDA 的 GPU 上可實現最佳性能。
• 生成速度：生成速度取決於 GPU 性能。

📄 許可證

本模型遵循 Apache 許可證 2.0。

引用與歸屬

原始的 Orpheus 模型由 Canopy Labs 創建。本倉庫包含一個為 Orpheus-FastAPI 服務器優化的量化版本。

如果您在研究或應用中使用此量化模型，請引用：

@misc{orpheus-tts-2025,
  author = {Canopy Labs},
  title = {Orpheus-3b-0.1-ft: Text-to-Speech Model},
  year = {2025},
  publisher = {HuggingFace},
  howpublished = {\url{https://huggingface.co/canopylabs/orpheus-3b-0.1-ft}}
}

@misc{orpheus-quantised-2025,
  author = {Lex-au},
  title = {Orpheus-3b-FT-Q8_0: Quantised TTS Model with FastAPI Server},
  note = {GGUF quantisation of canopylabs/orpheus-3b-0.1-ft},
  year = {2025},
  publisher = {HuggingFace},
  howpublished = {\url{https://huggingface.co/lex-au/Orpheus-3b-FT-Q8_0.gguf}}
}