F5 TTS Italian

🚀 F5 - TTS意大利語微調項目

本項目是對F5 - TTS模型進行的意大利語微調，僅支持意大利語，無法準確輸出英語內容。項目使用特定數據集和設置進行訓練，旨在提升意大利語語音合成效果。

✨ 主要特性

• 針對意大利語進行F5 - TTS模型的微調。
• 基於超過73小時的ylacombe/cml - tts數據集“train”分割進行訓練。
• 訓練過程使用特定的參數設置，以優化模型性能。

📦 安裝指南

暫未提供相關安裝步驟。

📚 詳細文檔

數據集與基礎模型

訓練設置

本模型使用8xRTX4090進行訓練，目前仍在進行中。使用Gradio微調應用，設置如下：

exp_name="F5TTS_Base"
learning_rate=0.00001
batch_size_per_gpu=10000
batch_size_type="frame"
max_samples=64
grad_accumulation_steps=1
max_grad_norm=1
epochs=300
num_warmup_updates=2000
save_per_updates=600
last_per_steps=300
finetune=true
file_checkpoint_train=""
tokenizer_type="char"
tokenizer_file=""
mixed_precision="fp16"
logger="wandb"
bnb_optimizer=false

數據預處理

從數據源提取的數據在轉錄過程中進行了預處理。標點符號對於語音停頓和語調教學很重要，因此予以保留。原始意大利語“text”字段中包含的直接對話分隔符（長連字符）也被保留，但其中用於換行分割單詞的連字符被移除，將單詞的兩部分合並，避免訓練受無關因素影響。這裡僅針對cml - tts中的意大利語數據，不確定其他語言是否受此影響。

當前訓練程度最高的模型

model_159600.safetensors（約290個Epoch）

已知問題

• 災難性失敗：由於僅使用意大利語進行訓練，模型失去了英語語音能力。建議使用多語言數據集而非單一語言數據集。
• 發音不完美：模型的發音效果有待提升。
• 數字轉換：在意大利語中，數字需轉換為字母才能正確發音。
• 數據集優化：使用更多樣化語音的數據集有助於提升零樣本克隆能力。

檢查點文件夾

該文件夾包含特定步驟的檢查點權重，數字越大表示訓練進度越靠後。此文件夾中的權重可作為繼續訓練的起點。如果您能進一步微調模型以獲得更好的結果，請與我聯繫。