Fish Speech 1.5

🚀 鱼语音（Fish Speech）V1.5 适配版

本项目是 官方鱼语音（Fish Speech）V1.5 权重 的重新格式化版本，旨在与 fish-speech.rs 兼容。

为了更好地与 Candle.rs 和 HuggingFace 生态系统兼容，我进行了以下更改：

• 将 DualAR 变压器权重转换为 .safetensors 格式，以确保安全性并便于加载。
• 将分词器从 Tiktoken 格式和 自定义包装器 迁移到 HuggingFace Tokenizers，便于下游使用。
• VQGAN 与 V1.4 版本保持一致，因此直接从 我之前的转换版本 复制了权重归一化合并后的 safetensors 和 FireflyGAN 配置。

⚠️ 重要提示

• 请尊重原始许可证，不要将此模型用于商业目的。你可以通过使用 fish.audio 上的官方 API 来支持鱼音频（Fish Audio）。
• 这些权重 无法 与 官方鱼语音推理代码 一起使用！

🚀 快速开始

本项目是对官方鱼语音 V1.5 权重的重新格式化，以适配 fish-speech.rs。若你需要使用该模型，需注意上述的更改和提示信息。

✨ 主要特性

• 对官方鱼语音 V1.5 权重进行重新格式化，以适配 fish-speech.rs。
• 采用 .safetensors 格式，提高安全性和加载便利性。
• 使用 HuggingFace Tokenizers 分词器，便于下游使用。

📚 详细文档

原始 README：鱼语音 V1.5

鱼语音 V1.5 是一款领先的文本转语音（TTS）模型，在超过 100 万小时的多语言音频数据上进行了训练。

支持的语言：

• 英语（en）>300k 小时
• 中文（zh）>300k 小时
• 日语（ja）>100k 小时
• 德语（de）~20k 小时
• 法语（fr）~20k 小时
• 西班牙语（es）~20k 小时
• 韩语（ko）~20k 小时
• 阿拉伯语（ar）~20k 小时
• 俄语（ru）~20k 小时
• 荷兰语（nl）<10k 小时
• 意大利语（it）<10k 小时
• 波兰语（pl）<10k 小时
• 葡萄牙语（pt）<10k 小时

更多信息请参考 鱼语音 GitHub。
演示地址：鱼音频。

引用

如果你觉得这个仓库有用，请考虑引用以下内容：

@misc{fish-speech-v1.4,
      title={Fish-Speech: Leveraging Large Language Models for Advanced Multilingual Text-to-Speech Synthesis}, 
      author={Shijia Liao and Yuxuan Wang and Tianyu Li and Yifan Cheng and Ruoyi Zhang and Rongzhi Zhou and Yijin Xing},
      year={2024},
      eprint={2411.01156},
      archivePrefix={arXiv},
      primaryClass={cs.SD},
      url={https://arxiv.org/abs/2411.01156}, 
}

📄 许可证

本模型遵循 BY - CC - NC - SA - 4.0 许可证。