XTTS Hindi Finetuned

🚀 XTTS v2 ヒンディー語データセットでファインチューニング

このモデルは、Coqui-AIによって開発されたXTTS v2（Cross-lingual Text-to-Speech）モデルのファインチューニング版です。ヒンディー語の音声データセットでファインチューニングされ、自然で正確なヒンディー語音声の生成性能が向上しています。また、ボイスクローニングや多言語音声生成などの機能をサポートしています。

🚀 クイックスタート

XTTS v2モデルをヒンディー語データセットでファインチューニングするためのColabノートブックを見ることができ、以下のColabノートブックリンクをたどることでそのプロセスを再現できます。

✨ 主な機能

• 言語サポート：ヒンディー語（hi）を含む16の言語をサポートします。
• ボイスクローニング：たった6秒の音声クリップでボイスをクローニングできます。
• 感情とスタイルの転送：クローニングにより感情とスタイルの転送を実現します。
• 異言語間のボイスクローニング：異なる言語間でのボイスクローニングをサポートします。
• サンプリングレート：高品質な音声のために24kHzのサンプリングレートを採用しています。

🆕 XTTS-v1に対する更新点

• 新しい言語サポート：ハンガリー語と韓国語のサポートが追加されました。
• アーキテクチャの改善：話者のコンディショニングと補間が強化されました。
• 安定性の向上：全体的な安定性と性能が向上しました。
• 音質の改善：韻律と音質が改善されました。

🌐 サポート言語

XTTS-v2モデルは、以下の17の言語をサポートしています。

• 英語 (en)
• スペイン語 (es)
• フランス語 (fr)
• ドイツ語 (de)
• イタリア語 (it)
• ポルトガル語 (pt)
• ポーランド語 (pl)
• トルコ語 (tr)
• ロシア語 (ru)
• オランダ語 (nl)
• チェコ語 (cs)
• アラビア語 (ar)
• 中国語 (zh-cn)
• 日本語 (ja)
• ハンガリー語 (hu)
• 韓国語 (ko)
• ヒンディー語 (hi)

📊 訓練データ

このモデルは、以下のヒンディー語データセットでファインチューニングされています。

• Mozilla CommonVoice 18：多様なヒンディー語音声のデータセットです。
• IndicTTS Hindi Dataset：テキスト-to-スピーチの訓練用のヒンディー語音声データです。

💻 使用例

基本的な使用法

from TTS.api import TTS

# モデルの読み込み
tts = TTS("tts_models/multilingual/multi-dataset/xtts_v2", gpu=True)

# デフォルト設定でボイスをクローニングして音声を生成
tts.tts_to_file(
    text="It took me quite a long time to develop a voice, and now that I have it I'm not going to be silent.",
    file_path="output.wav",
    speaker_wav="/path/to/target/speaker.wav",
    language="hi"
)

🔗 コードとデモ

• コードベース：コードベースは推論とファインチューニングの両方をサポートしています。
• デモスペース：
  • XTTS Space：サポートされている言語でのモデルの性能を探索し、独自の参照音声やマイク入力で試すことができます。
  • XTTS Voice Chat with Mistral or Zephyr：Mistral 7B InstructまたはZephyr 7B Betaとのストリーミングボイスチャットを体験できます。

📄 ライセンス

このモデルは、Coqui Public Model Licenseの下でライセンスされています。CPMLの由来についてはこちらをご覧ください。

📞 お問い合わせ

🐸 コミュニティに参加し、Discordで私たちに参加し、Twitterでフォローしてください。お問い合わせは、info@coqui.aiまでメールを送ることもできます。