Fish Speech 1.5

🚀 フィッシュスピーチ V1.5

このモデルは、複数言語の100万時間以上の音声データで学習された、最先端のテキスト読み上げ（TTS）モデルです。

これは、fish-speech.rs で動作するように、公式のフィッシュスピーチ V1.5 の重み を再フォーマットしたものです。

Candle.rs と HuggingFace エコシステムとの互換性を向上させるために、以下の変更を行いました。

• DualARトランスフォーマーの重みを .safetensors に変換し、安全性と読み込みの容易さを向上させました。
• トークナイザーを Tiktoken 形式と カスタムラッパー から HuggingFace Tokenizers に移植し、下流での使用を容易にしました。
• VQGAN は v1.4 から変更されていないため、前回の変換 から重み正規化がマージされた safetensors と FireflyGAN の設定をコピーしました。

⚠️ 重要提示

• 元のライセンスを尊重し、このモデルを商用目的で使用しないでください。fish.audio の公式APIを使用することで、Fish Audio をサポートできます。
• これらの重みは 公式のFish Speech推論コード では動作しません！

🚀 クイックスタート

このモデルは、複数言語の音声合成に使用できます。以下に、サポートされている言語とその学習時間を示します。

詳細については、Fish Speech Github を参照してください。
デモは Fish Audio で利用できます。

📚 ドキュメント

引用

このリポジトリが役に立った場合は、以下のように引用してください。

@misc{fish-speech-v1.4,
      title={Fish-Speech: Leveraging Large Language Models for Advanced Multilingual Text-to-Speech Synthesis}, 
      author={Shijia Liao and Yuxuan Wang and Tianyu Li and Yifan Cheng and Ruoyi Zhang and Rongzhi Zhou and Yijin Xing},
      year={2024},
      eprint={2411.01156},
      archivePrefix={arXiv},
      primaryClass={cs.SD},
      url={https://arxiv.org/abs/2411.01156}, 
}

📄 ライセンス

このモデルは、CC-BY-NC-SA-4.0 ライセンスの下で許可されています。