XTTS V2

🚀 ⓍTTS

ⓍTTSは音声生成モデルで、わずか6秒の音声クリップを使用することで、様々な言語に音声をクローンすることができます。何時間にもわたる大量のトレーニングデータは必要ありません。

このモデルは、Coqui Studio や Coqui API を駆動するモデルと同じ、または類似したものです。

✨ 主な機能

• 17の言語をサポートしています。
• わずか6秒の音声クリップで音声クローンが可能です。
• クローニングによる感情とスタイルの転送ができます。
• 異言語間の音声クローンが可能です。
• 多言語の音声生成が可能です。
• 24kHzのサンプリングレートです。

🆕 XTTS-v1からの更新点

• ハンガリー語と韓国語の2つの新しい言語がサポートされました。
• 話者コンディショニングのアーキテクチャが改善されました。
• 複数の話者参照の使用と話者間の補間が可能になりました。
• 安定性が向上しました。
• 全体的に韻律と音声品質が向上しました。

🌐 サポート言語

XTTS-v2は17の言語をサポートしています。英語 (en)、スペイン語 (es)、フランス語 (fr)、ドイツ語 (de)、イタリア語 (it)、ポルトガル語 (pt)、ポーランド語 (pl)、トルコ語 (tr)、ロシア語 (ru)、オランダ語 (nl)、チェコ語 (cs)、アラビア語 (ar)、中国語 (zh-cn)、日本語 (ja)、ハンガリー語 (hu)、韓国語 (ko)、ヒンディー語 (hi)。

今後もさらに多くの言語のサポートを追加していく予定です。特定の言語のサポートを希望する場合は、お気軽にお問い合わせください！

📦 インストール

コードベース は推論と微調整をサポートしています。

💻 使用例

基本的な使用法

from TTS.api import TTS
tts = TTS("tts_models/multilingual/multi-dataset/xtts_v2", gpu=True)

# generate speech by cloning a voice using default settings
tts.tts_to_file(text="It took me quite a long time to develop a voice, and now that I have it I'm not going to be silent.",
                file_path="output.wav",
                speaker_wav="/path/to/target/speaker.wav",
                language="en")

高度な使用法

from TTS.tts.configs.xtts_config import XttsConfig
from TTS.tts.models.xtts import Xtts

config = XttsConfig()
config.load_json("/path/to/xtts/config.json")
model = Xtts.init_from_config(config)
model.load_checkpoint(config, checkpoint_dir="/path/to/xtts/", eval=True)
model.cuda()

outputs = model.synthesize(
    "It took me quite a long time to develop a voice and now that I have it I am not going to be silent.",
    config,
    speaker_wav="/data/TTS-public/_refclips/3.wav",
    gpt_cond_len=3,
    language="en",
)

コマンドラインでの使用

 tts --model_name tts_models/multilingual/multi-dataset/xtts_v2 \
     --text "Bugün okula gitmek istemiyorum." \
     --speaker_wav /path/to/target/speaker.wav \
     --language_idx tr \
     --use_cuda true

🎮 デモスペース

• XTTS Space : サポートされている言語でのモデルの動作を確認したり、独自の参照音声やマイク入力で試すことができます。
• XTTS Voice Chat with Mistral or Zephyr : Mistral 7B Instruct または Zephyr 7B Beta とのストリーミング音声チャットを体験できます。

📄 ライセンス

このモデルは Coqui Public Model License の下でライセンスされています。生成モデルのライセンスには多くの要素が含まれており、CPMLの由来についてはこちら で詳しく読むことができます。

📞 お問い合わせ

🐸コミュニティにぜひ参加してください。Discord と Twitter で積極的に活動しています。また、info@coqui.ai までメールでもご連絡いただけます。