Speecht5 Tts Common Voice 5 Sv

🚀 SpeechT5 TTS Swedish

このモデルは、Common VoiceデータセットでMicrosoft/SpeechT5_TTSをファインチューニングしたバージョンです。評価セットでは、以下の結果を達成しています。

• 損失: 0.4621

🚀 クイックスタート

このモデルはCommon Voiceのスウェーデン語データで学習されたスウェーデン語のSpeechT5モデルです。以下にモデルの実装例を示します。自分でモデルをテストするには、https://huggingface.co/spaces/GreenCounsel/SpeechT5-sv を訪れてください（Huggingfaceでパイプライン推論を実行することはできません）。

💻 使用例

基本的な使用法

#pip install datasets soundfile 
#pip install transformers
#pip install sentencepiece

from transformers import SpeechT5Processor, SpeechT5ForTextToSpeech, SpeechT5HifiGan, set_seed
import torch

processor = SpeechT5Processor.from_pretrained("microsoft/speecht5_tts")
model = SpeechT5ForTextToSpeech.from_pretrained("GreenCounsel/speecht5_tts_common_voice_5_sv")
vocoder = SpeechT5HifiGan.from_pretrained("microsoft/speecht5_hifigan")

repl = [
    ('Ä', 'ae'),
    ('Å', 'o'),
    ('Ö', 'oe'),
    ('ä', 'ae'),
    ('å', 'o'),
    ('ö', 'oe'),
    ('ô','oe'),
    ('-',''),
    ('‘',''),
    ('’',''),
    ('“',''),
    ('”',''),

]

from datasets import load_dataset
embeddings_dataset = load_dataset("Matthijs/cmu-arctic-xvectors", split="validation")

speaker_embeddings = torch.tensor(embeddings_dataset[7000]["xvector"]).unsqueeze(0)
set_seed(555)

text="Förstår du vad han menar?"
for src, dst in repl:
       text = text.replace(src, dst)
inputs = processor(text=text, return_tensors="pt")

speech = model.generate_speech(inputs["input_ids"], speaker_embeddings, vocoder=vocoder)

import soundfile as sf
sf.write("output.wav", speech.numpy(), samplerate=16000)

🔧 技術詳細

学習ハイパーパラメータ

学習中に使用されたハイパーパラメータは以下の通りです。

• 学習率: 1e-05
• 学習バッチサイズ: 16
• 評価バッチサイズ: 8
• シード: 42
• 勾配累積ステップ: 2
• 総学習バッチサイズ: 32
• オプティマイザ: Adam (betas=(0.9,0.999), epsilon=1e-08)
• 学習率スケジューラタイプ: 線形
• 学習率スケジューラウォームアップステップ: 500
• 学習ステップ: 4000
• 混合精度学習: Native AMP

学習結果

フレームワークバージョン

• Transformers 4.30.0.dev0
• Pytorch 2.0.1+cu118
• Datasets 2.13.1
• Tokenizers 0.13.3

📄 ライセンス

このモデルはMITライセンスの下で提供されています。