Fish Speech 1.5

🚀 魚語音（Fish Speech）V1.5 適配版

本項目是 官方魚語音（Fish Speech）V1.5 權重 的重新格式化版本，旨在與 fish-speech.rs 兼容。

為了更好地與 Candle.rs 和 HuggingFace 生態系統兼容，我進行了以下更改：

• 將 DualAR 變壓器權重轉換為 .safetensors 格式，以確保安全性並便於加載。
• 將分詞器從 Tiktoken 格式和 自定義包裝器 遷移到 HuggingFace Tokenizers，便於下游使用。
• VQGAN 與 V1.4 版本保持一致，因此直接從 我之前的轉換版本 複製了權重歸一化合並後的 safetensors 和 FireflyGAN 配置。

⚠️ 重要提示

• 請尊重原始許可證，不要將此模型用於商業目的。你可以通過使用 fish.audio 上的官方 API 來支持魚音頻（Fish Audio）。
• 這些權重 無法 與 官方魚語音推理代碼 一起使用！

🚀 快速開始

本項目是對官方魚語音 V1.5 權重的重新格式化，以適配 fish-speech.rs。若你需要使用該模型，需注意上述的更改和提示信息。

✨ 主要特性

• 對官方魚語音 V1.5 權重進行重新格式化，以適配 fish-speech.rs。
• 採用 .safetensors 格式，提高安全性和加載便利性。
• 使用 HuggingFace Tokenizers 分詞器，便於下游使用。

📚 詳細文檔

原始 README：魚語音 V1.5

魚語音 V1.5 是一款領先的文本轉語音（TTS）模型，在超過 100 萬小時的多語言音頻數據上進行了訓練。

支持的語言：

• 英語（en）>300k 小時
• 中文（zh）>300k 小時
• 日語（ja）>100k 小時
• 德語（de）~20k 小時
• 法語（fr）~20k 小時
• 西班牙語（es）~20k 小時
• 韓語（ko）~20k 小時
• 阿拉伯語（ar）~20k 小時
• 俄語（ru）~20k 小時
• 荷蘭語（nl）<10k 小時
• 意大利語（it）<10k 小時
• 波蘭語（pl）<10k 小時
• 葡萄牙語（pt）<10k 小時

更多信息請參考 魚語音 GitHub。
演示地址：魚音頻。

引用

如果你覺得這個倉庫有用，請考慮引用以下內容：

@misc{fish-speech-v1.4,
      title={Fish-Speech: Leveraging Large Language Models for Advanced Multilingual Text-to-Speech Synthesis}, 
      author={Shijia Liao and Yuxuan Wang and Tianyu Li and Yifan Cheng and Ruoyi Zhang and Rongzhi Zhou and Yijin Xing},
      year={2024},
      eprint={2411.01156},
      archivePrefix={arXiv},
      primaryClass={cs.SD},
      url={https://arxiv.org/abs/2411.01156}, 
}

📄 許可證

本模型遵循 BY - CC - NC - SA - 4.0 許可證。