Orpheus 3b Hindi FT Q8 0.gguf

🚀 Orpheus-3b-FT-Q8_0

Orpheus-3b-FT-Q8_0 是一個高性能的文本轉語音模型，它經過微調，能夠實現自然、富有情感的語音合成。本項目是 canopylabs/3b-hi-ft-research_release 的 8 位量化版本，在保證高效推理的同時，仍能輸出高質量的語音。

🚀 快速開始

1. 從 lex-au 的 Orpheus-FASTAPI 集合 下載此量化模型。
2. 將模型加載到你首選的大語言模型（LLM）推理服務器中並啟動服務器。
3. 克隆 Orpheus-FastAPI 倉庫：

git clone https://github.com/Lex-au/Orpheus-FastAPI.git
cd Orpheus-FastAPI

4. 通過設置 ORPHEUS_API_URL 環境變量，配置 FastAPI 服務器以連接到你的推理服務器。
5. 遵循 倉庫 README 中的完整安裝和設置說明。

✨ 主要特性

• 具備 1 種獨特的語音選項，且各有不同特點。
• 支持如笑聲、嘆息聲等情感標籤。
• 針對 RTX GPU 上的 CUDA 加速進行了優化。
• 可生成高質量的 24kHz 單聲道音頻。
• 針對對話自然度進行了微調。

📦 安裝指南

此量化模型可以加載到以下任何 LLM 推理服務器中：

• GPUStack - GPU 優化的 LLM 推理服務器（推薦） - 支持局域網/廣域網張量拆分並行化。
• LM Studio - 加載 GGUF 模型並啟動本地服務器。
• llama.cpp server - 使用適當的模型參數運行。
• 任何兼容的 OpenAI API 服務器。

💻 使用示例

基礎用法

該模型旨在與連接到 Orpheus-FastAPI 前端的 LLM 推理服務器一起使用，該前端同時提供 Web 界面和 OpenAI 兼容的 API 端點。

可用語音

模型支持 1 種語音：

• ऋतिका：女性，印地語，富有表現力。

情感標籤

你可以通過插入標籤為語音添加表現力：

• <laugh>、<chuckle>：用於笑聲。
• <sigh>：用於嘆息聲。
• <cough>、<sniffle>：用於輕微的中斷聲。
• <groan>、<yawn>、<gasp>：用於額外的情感表達。

📚 詳細文檔

模型描述

Orpheus-3b-FT-Q8_0 是一個擁有約 30 億參數的文本轉語音模型，它可以將文本輸入轉換為自然的語音，支持多種語音和情感表達。該模型已被量化為 8 位（Q8_0）格式，以實現高效推理，使其能夠在消費級硬件上運行。

技術規格

侷限性

• 目前僅支持英文文本。
• 在支持 CUDA 的 GPU 上可實現最佳性能。
• 生成速度取決於 GPU 性能。

🔧 技術細節

• 架構：專門的令牌到音頻序列模型。
• 參數：約 30 億。
• 量化：8 位（GGUF Q8_0 格式）。
• 音頻採樣率：24kHz。
• 輸入：帶有可選語音選擇和情感標籤的文本。
• 輸出：高質量的 WAV 音頻。
• 語言：印地語。
• 硬件要求：支持 CUDA 的 GPU（推薦：RTX 系列）。
• 集成方法：外部 LLM 推理服務器 + Orpheus-FastAPI 前端。

📄 許可證

此模型遵循 Apache 許可證 2.0。

🔖 引用與歸屬

原始的 Orpheus 模型由 Canopy Labs 創建。本倉庫包含一個針對 Orpheus-FastAPI 服務器優化的量化版本。

如果您在研究或應用中使用此量化模型，請引用：

@misc{orpheus-tts-2025,
  author = {Canopy Labs},
  title = {Orpheus-3b-0.1-ft: Text-to-Speech Model},
  year = {2025},
  publisher = {HuggingFace},
  howpublished = {\url{https://huggingface.co/canopylabs/orpheus-3b-0.1-ft}}
}

@misc{orpheus-quantised-2025,
  author = {Lex-au},
  title = {Orpheus-3b-FT-Q8_0: Quantised TTS Model with FastAPI Server},
  note = {GGUF quantisation of canopylabs/orpheus-3b-0.1-ft},
  year = {2025},
  publisher = {HuggingFace},
  howpublished = {\url{https://huggingface.co/lex-au/Orpheus-3b-FT-Q8_0.gguf}}
}

⚠️ 重要提示

• 目前該模型僅支持英文文本。
• 為獲得最佳性能，建議使用支持 CUDA 的 GPU（如 RTX 系列）。

💡 使用建議

• 在使用前，請確保已正確配置 ORPHEUS_API_URL 環境變量。
• 可根據 GPU 性能調整生成參數，以平衡生成速度和質量。