Speecht5 Tts Tr V1.0

🚀 SpeechT5 TTS Turkish

このモデルは、microsoft/speecht5_tts を turkishvoicedataset データセットでファインチューニングしたバージョンです。評価セットでは以下の結果を達成しています。

• 損失: 0.3079

🚀 クイックスタート

このモデルは、テキストを音声に変換するために使用できます。以下の手順で使用できます。

インストール

!pip install datasets soundfile speechbrain

使用例

from transformers import pipeline
from datasets import load_dataset
import soundfile as sf
import torch
from IPython.display import Audio

synthesiser = pipeline("text-to-speech", "umarigan/speecht5_tts_tr_v1.0")

embeddings_dataset = load_dataset("umarigan/turkish_voice_dataset_embedded", split="train")
speaker_embedding = torch.tensor(embeddings_dataset[736]["speaker_embeddings"]).unsqueeze(0)

# Synthesize speech using the embedding
speech = synthesiser("Bir berber bir berbere gel beraber bir berber kuralım demiş", forward_params={"speaker_embeddings": speaker_embedding})

# Save the generated audio to a file
sf.write("speech.wav", speech["audio"], samplerate=speech["sampling_rate"])

# Play the audio in the notebook
Audio("speech.wav")

📦 モデル情報

🔧 技術詳細

トレーニングハイパーパラメータ

トレーニング中に以下のハイパーパラメータが使用されました。

• learning_rate: 1e-05
• train_batch_size: 16
• eval_batch_size: 8
• seed: 42
• gradient_accumulation_steps: 2
• total_train_batch_size: 32
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 500
• training_steps: 6000
• mixed_precision_training: Native AMP

トレーニング結果

フレームワークバージョン

• Transformers 4.45.0.dev0
• Pytorch 2.4.1+cu121
• Datasets 3.0.0
• Tokenizers 0.19.1

📄 ライセンス

このモデルはMITライセンスの下で提供されています。