Tacotron2 Cv Females

🚀 ルガンダ語CommonVoiceで学習されたTacotron2によるテキスト読み上げ (TTS)

このリポジトリは、SpeechBrainを使用したテキスト読み上げ (TTS) に必要なすべてのツールを提供しています。事前学習済みモデルは、短いテキストを入力として受け取り、スペクトログラムを出力します。生成されたスペクトログラムにボコーダ (例: HiFIGAN) を適用することで、最終的な波形を取得することができます。

🚀 クイックスタート

このプロジェクトでは、SpeechBrainを用いたテキスト読み上げ (TTS) を行うための手順を提供しています。以下のセクションでは、SpeechBrainのインストール方法と、TTSの実行方法について説明します。

📦 インストール

SpeechBrainのインストール

pip install speechbrain

ぜひ、私たちのチュートリアルを読んで、SpeechBrain についてもっと学んでください。

💻 使用例

基本的な使用法

import torchaudio
from speechbrain.inference.TTS import Tacotron2
from speechbrain.inference.vocoders import HIFIGAN

# TTS (tacotron2) とボコーダ (HiFIGAN) を初期化
tacotron2 = Tacotron2.from_hparams(source="sulaimank/tacotron2-cv-females", savedir="tmpdir_tts")
hifi_gan = HIFIGAN.from_hparams(source="speechbrain/tts-hifigan-ljspeech", savedir="tmpdir_vocoder")

# TTSを実行
mel_output, mel_length, alignment = tacotron2.encode_text("Eddagala eryo lisigala mu nnyaanya okumala wiiki nga bbiri.")

# ボコーダを実行 (スペクトログラムから波形へ)
waveforms = hifi_gan.decode_batch(mel_output)

# 波形を保存
torchaudio.save('example_TTS.wav',waveforms.squeeze(1), 22050)

高度な使用法

複数の文章を一度に生成したい場合は、次のようにできます。

from speechbrain.pretrained import Tacotron2
tacotron2 = Tacotron2.from_hparams(source="speechbrain/TTS_Tacotron2", savedir="tmpdir")
items = [
       "A quick brown fox jumped over the lazy dog",
       "How much wood would a woodchuck chuck?",
       "Never odd or even"
     ]
mel_outputs, mel_lengths, alignments = tacotron2.encode_batch(items)

制限事項

このモデルを他のデータセットで使用した場合のパフォーマンスについて、SpeechBrainチームはいかなる保証も提供していません。

モデル情報