XTTS V2 Argentinian Spanish

🚀 ⓍTTS 🇦🇷

ⓍTTSは音声生成モデルで、わずか6秒の音声クリップを使用することで、異なる言語に音声をクローンすることができます。何時間にもわたる大量のトレーニングデータは必要ありません。

このモデルは、国立リオネグロ大学のCITECCAにあるIdeaLabによってトレーニングされました。

🚀 クイックスタート

このモデルを使用するには、以下のコマンドラインまたは直接モデルを使用する方法があります。

コマンドラインでの使用

 tts --model_name /path/to/xtts/ \
     --text "Che boludo, vamos a tomar unos mates." \
     --speaker_wav /path/to/target/speaker.wav \
     --language_idx es \
     --use_cuda true

モデルを直接使用する

from TTS.tts.configs.xtts_config import XttsConfig
from TTS.tts.models.xtts import Xtts

config = XttsConfig()
config.load_json("/path/to/xtts/config.json")
model = Xtts.init_from_config(config)
model.load_checkpoint(config, checkpoint_dir="/path/to/xtts/", eval=True)
model.cuda()

outputs = model.synthesize(
    "Che boludo, vamos a tomar unos mates.",
    config,
    speaker_wav="/data/TTS-public/_refclips/3.wav",
    gpt_cond_len=3,
    language="es",
)

✨ 主な機能

• わずか6秒の音声クリップで異なる言語に音声をクローンできる。
• 大量のトレーニングデータを必要としない。

📚 ドキュメント

言語

このモデルのスペイン語は、ylacombeのgoogleアルゼンチンスペイン語データセットを使用して微調整され、アルゼンチンのアクセントを実現しています。

トレーニングパラメータ

batch_size=8,
grad_accum_steps=96,
batch_group_size=48,
eval_batch_size=8,
num_loader_workers=8,
eval_split_max_size=256,
optimizer="AdamW",
optimizer_wd_only_on_weights=True,
optimizer_params={"betas": [0.9, 0.96], "eps": 1e-8, "weight_decay": 1e-2},
lr=5e-06, 
lr_scheduler="MultiStepLR",
lr_scheduler_params={"milestones": [50000 * 18, 150000 * 18, 300000 * 18], "gamma": 0.5, "last_epoch": -1},

📄 ライセンス

このモデルは、Coqui Public Model Licenseの下でライセンスされています。生成モデルのライセンスには多くの要素が含まれており、CPMLの起源についてはこちらで詳しく読むことができます。