Speecht5 Base Cs Tts

🚀 SpeechT5-base-cs-tts

このモデルは、12万時間のチェコ語音声データと175億語の大規模チェコ語コーパスを用いて事前学習された単言語のチェコ語SpeechT5ベースモデルです。 このモデルは、TSD2024会議に採択された論文「Zero-Shot vs. Few-Shot Multi-Speaker TTS Using Pre-trained Czech SpeechT5 Model」で紹介されています。 チェコ語のテキスト読み上げ（TTS）の微調整の起点として使用することを想定しています。

🚀 クイックスタート

このモデルは、SpeechT5モデルのTTSバリアントです。つまり、入力モダリティはテキスト（テキスト事前ネットワークを介して処理されます）で、出力モダリティは音声（音声事後ネットワークを介して処理されます）です。 このモデルは、microsoft/speecht5_ttsと同じ形式であり、SpeechT5ForTextToSpeechクラスと互換性があります。 このモデルをテキスト読み上げに使用するには、ラベル付きのTTSデータで微調整する必要があります。 使い方は、microsoft/speecht5_ttsと同じです。

⚠️ 重要提示

これは事前学習モデルに過ぎないため、まだTTSタスク用に学習されていません。

💡 使用建议

微調整済みの音声の例は、https://jalehecka.github.io/TSD2024 で確認できます。

📚 ドキュメント

論文

https://link.springer.com/chapter/10.1007/978-3-031-70566-3_5

プレプリント: http://arxiv.org/abs/2407.17167.

引用

このモデルが役に立った場合は、以下のように論文を引用してください。

@InProceedings{10.1007/978-3-031-70566-3_5,
  author="Lehe{\v{c}}ka, Jan
    and Hanzl{\'i}{\v{c}}ek, Zden{\v{e}}k
    and Matou{\v{s}}ek, Jind{\v{r}}ich
    and Tihelka, Daniel",
  editor="N{\"o}th, Elmar
    and Hor{\'a}k, Ale{\v{s}}
    and Sojka, Petr",
  title="Zero-Shot vs. Few-Shot Multi-speaker TTS Using Pre-trained Czech SpeechT5 Model",
  booktitle="Text, Speech, and Dialogue",
  year="2024",
  publisher="Springer Nature Switzerland",
  address="Cham",
  pages="46--57",
  isbn="978-3-031-70566-3"
}

📄 ライセンス

このモデルは、"cc-by-nc-sa-4.0"ライセンスの下で提供されています。