Fastspeech2 Conformer With Hifigan

🚀 FastSpeech2ConformerWithHifiGan

このモデルは、FastSpeech2Conformer と FastSpeech2ConformerHifiGan を1つのモデルに統合し、より簡単で便利な使用を実現します。

FastSpeech2Conformerは、FastSpeech2の強みとConformerアーキテクチャを組み合わせた非自己回帰型のテキスト音声合成（TTS）モデルで、テキストから迅速かつ効率的に高品質な音声を生成します。また、HiFi - GANボコーダーを使用して、生成されたメルスペクトログラムを音声波形に変換します。

🚀 クイックスタート

あなたは🤗 Transformersライブラリを使用して、FastSpeech2Conformerをローカルで実行することができます。

📦 インストール

まず、🤗 Transformersライブラリ とg2p - enをインストールします。

pip install --upgrade pip
pip install --upgrade transformers g2p-en

💻 使用例

基本的な使用法

モデルとhifiganを組み合わせたTransformersのモデリングコードを介して推論を実行します。

from transformers import FastSpeech2ConformerTokenizer, FastSpeech2ConformerWithHifiGan
import soundfile as sf

tokenizer = FastSpeech2ConformerTokenizer.from_pretrained("espnet/fastspeech2_conformer")
inputs = tokenizer("Hello, my dog is cute.", return_tensors="pt")
input_ids = inputs["input_ids"]

model = FastSpeech2ConformerWithHifiGan.from_pretrained("espnet/fastspeech2_conformer_with_hifigan")
output_dict = model(input_ids, return_dict=True)
waveform = output_dict["waveform"]

sf.write("speech.wav", waveform.squeeze().detach().numpy(), samplerate=22050)

📄 ライセンス

このプロジェクトはApache - 2.0ライセンスの下で提供されています。