F5 TTS Italian

🚀 F5-TTSのイタリア語ファインチューニング

このプロジェクトはF5-TTSをイタリア語に特化してファインチューニングしたものです。イタリア語のみに対応しており、英語を適切に話すことはできません。

🚀 クイックスタート

このモデルは、ylacombe/cml-ttsデータセットの"train"スプリットの73時間以上のデータを使用して、8台のRTX4090でトレーニングされています。現在もトレーニング中で、Gradioのファインチューニングアプリを使用して以下の設定で行われています。

exp_name="F5TTS_Base"
learning_rate=0.00001
batch_size_per_gpu=10000
batch_size_type="frame"
max_samples=64
grad_accumulation_steps=1
max_grad_norm=1
epochs=300
num_warmup_updates=2000
save_per_updates=600
last_per_steps=300
finetune=true
file_checkpoint_train=""
tokenizer_type="char"
tokenizer_file=""
mixed_precision="fp16"
logger="wandb"
bnb_optimizer=false

✨ 主な機能

• イタリア語のテキストを音声に変換することができます。

📚 ドキュメント

前処理

データソースから抽出されたデータは、その転記において前処理されています。句読点は、ポーズや適切なイントネーションを教えるために重要であるため、保持されています。元のイタリア語の"text"フィールドには、直接の対話エスケープ（長いハイフン）も含まれており、これも保持されています。ただし、単語を改行で分割するために使用されていたハイフンは削除され、単語の2つの部分が結合されています。そうしないと、音声に影響を与えないアーティファクトに対してトレーニングが行われてしまいます。ここでは、cml-ttsのイタリア語データについてのみ話していますが、他の言語にもこの問題が影響するかどうかはわかりません。

現在最もトレーニングされたモデル

model_159600.safetensors (~290エポック)

既知の問題

• カタストロフィックな失敗（イタリア語のみに特化したため、英語の能力を失っています）。単一の言語ではなく、適切な多言語データセットを使用する必要があります。
• 発音が完全ではない。
• 数字はイタリア語で発音するために文字に変換する必要があります。
• より多様な声のデータセットがあれば、ゼロショットクローニングの改善に役立ちます。

チェックポイントフォルダ

特定のステップでのチェックポイントの重みが含まれています。数字が高いほど、トレーニングが進んでいます。このフォルダ内の重みは、トレーニングを続けるための起点として使用できます。もしさらにファインチューニングしてより良い結果を得ることができる場合は、連絡してください。

📄 ライセンス

このプロジェクトは、cc-by-4.0ライセンスの下で公開されています。

情報テーブル

| 属性 | 詳細 |
|------|------|
| データセット | ylacombe/cml-tts |
| 言語 | it |
| ベースモデル | SWivid/F5-TTS |
| パイプラインタグ | text-to-speech |
| ライセンス | cc-by-4.0 |
| ライブラリ名 | f5-tts |