Tts Tacotron2 Lug

🚀 Sunbird AI ルガンダ語用テキスト読み上げ (TTS) モデル

このモデルは、ルガンダ語のテキストに対応したテキスト読み上げ (TTS) モデルです。プロのスタジオ録音データを使ってTacotron2を学習させ、SpeechBrainを用いてTTSを行うためのツールを提供しています。事前学習済みモデルは短いテキストを入力として受け取り、スペクトログラムを出力します。生成されたスペクトログラムにボコーダ（例: HiFIGAN）を適用することで最終的な波形を得ることができます。

🚀 クイックスタート

このリポジトリでは、SpeechBrainを用いたテキスト読み上げ (TTS) に必要なすべてのツールを提供しています。

✨ 主な機能

• 事前学習済みのTacotron2モデルを使用して、ルガンダ語のテキストをスペクトログラムに変換します。
• 生成されたスペクトログラムにボコーダ（HiFIGANなど）を適用して波形を生成します。
• 複数の文章を一度に処理することができます。
• GPUでの推論が可能です。

📦 インストール

SpeechBrainのインストール

pip install speechbrain

💻 使用例

基本的な使用法

import torchaudio
from speechbrain.pretrained import Tacotron2
from speechbrain.pretrained import HIFIGAN

# Intialize TTS (tacotron2) and Vocoder (HiFIGAN)
tacotron2 = Tacotron2.from_hparams(source="/Sunbird/sunbird-lug-tts", savedir="tmpdir_tts")
hifi_gan = HIFIGAN.from_hparams(source="speechbrain/tts-hifigan-ljspeech", savedir="tmpdir_vocoder")

# Running the TTS
mel_output, mel_length, alignment = tacotron2.encode_text("Mbagaliza Christmass Enungi Nomwaka Omugya Gubaberere Gwamirembe")

# Running Vocoder (spectrogram-to-waveform)
waveforms = hifi_gan.decode_batch(mel_output)

# Save the waverform
torchaudio.save('example_TTS.wav',waveforms.squeeze(1), 22050)

高度な使用法

複数の文章を一度に生成する場合:

from speechbrain.pretrained import Tacotron2
tacotron2 = Tacotron2.from_hparams(source="speechbrain/TTS_Tacotron2", savedir="tmpdir")

items = [
       "Nsanyuse okukulaba",
       "Erinnya lyo ggwe ani?",
       "Mbagaliza Christmass Enungi Nomwaka Omugya Gubaberere Gwamirembe"
     ]
mel_outputs, mel_lengths, alignments = tacotron2.encode_batch(items)

GPUでの推論

GPUで推論を行うには、from_hparams メソッドを呼び出す際に run_opts={"device":"cuda"} を追加します。

📚 ドキュメント

• モデルタイプ: Text-to-Speech (TTS) with Tacotron2
• 学習データ: SALT-TTS
• 評価指標: mos

📄 ライセンス

このプロジェクトは、Apache-2.0ライセンスの下で公開されています。