Fastspeech2 Conformer With Hifigan

🚀 FastSpeech2ConformerWithHifiGan

該模型將 FastSpeech2Conformer 和 FastSpeech2ConformerHifiGan 整合為一個模型，使用起來更加簡單便捷。FastSpeech2Conformer 是一種非自迴歸的文本轉語音（TTS）模型，它結合了 FastSpeech2 和 Conformer 架構的優勢，能夠快速高效地從文本生成高質量語音。而 HiFi - GAN 聲碼器則用於將生成的梅爾頻譜圖轉換為語音波形。

🚀 快速開始

📦 安裝指南

你可以使用 🤗 Transformers 庫在本地運行 FastSpeech2Conformer。 首先，安裝 🤗 Transformers 庫 和 g2p - en：

pip install --upgrade pip
pip install --upgrade transformers g2p-en

💻 使用示例

基礎用法

通過 Transformers 建模代碼結合模型和 HiFi - GAN 進行推理：

from transformers import FastSpeech2ConformerTokenizer, FastSpeech2ConformerWithHifiGan
import soundfile as sf

tokenizer = FastSpeech2ConformerTokenizer.from_pretrained("espnet/fastspeech2_conformer")
inputs = tokenizer("Hello, my dog is cute.", return_tensors="pt")
input_ids = inputs["input_ids"]

model = FastSpeech2ConformerWithHifiGan.from_pretrained("espnet/fastspeech2_conformer_with_hifigan")
output_dict = model(input_ids, return_dict=True)
waveform = output_dict["waveform"]

sf.write("speech.wav", waveform.squeeze().detach().numpy(), samplerate=22050)

📄 許可證

本項目採用 Apache - 2.0 許可證。