kan-bayashi_ljspeech開源文本轉語音模型 - 免費部署實現自然語音合成

首頁

Kan Bayashi Ljspeech Joint Finetune Conformer Fastspeech2 Hifigan

由espnet開發

這是一個基於 ESPnet2 的文本轉語音(TTS)模型，使用 LJSpeech 數據集訓練，結合了 Conformer、FastSpeech2 和 HiFi-GAN 架構。

語音合成英語#聯合微調TTS #Conformer架構 #HiFi-GAN聲碼器

下載量 20

發布時間 : 3/2/2022

模型概述

該模型是一個高質量的英文文本轉語音系統，能夠將文本輸入轉換為自然流暢的語音輸出。

模型特點

聯合架構

結合了 Conformer 的序列建模能力、FastSpeech2 的高效合成和 HiFi-GAN 的高質量聲碼器

高質量語音

能夠生成自然流暢的英語語音

ESPnet2 集成

基於 ESPnet2 框架，便於與其他語音處理工具集成

模型能力

文本轉語音

英語語音合成

使用案例

語音合成應用

有聲讀物生成

將電子書文本轉換為自然語音

生成高質量的英語有聲讀物

語音助手

為智能設備提供自然語音輸出

提升用戶體驗的自然度

🚀 ESPnet2 TTS預訓練模型

這是一個基於ESPnet2的文本轉語音（TTS）預訓練模型，可用於音頻處理，解決文本到語音轉換的問題，為語音合成應用提供便利。

🚀 快速開始

此模型由kan-bayashi使用 espnet 中的ljspeech/tts1配方進行訓練。該模型從 https://zenodo.org/record/5498896/ 導入。

💻 使用示例

基礎用法

# coming soon

📄 許可證

本模型使用的許可證為 cc-by-4.0。

📚 詳細文檔

引用ESPnet

如果你在研究中使用了ESPnet，可以按照以下方式進行引用：

@inproceedings{watanabe2018espnet,
  author={Shinji Watanabe and Takaaki Hori and Shigeki Karita and Tomoki Hayashi and Jiro Nishitoba and Yuya Unno and Nelson {Enrique Yalta Soplin} and Jahn Heymann and Matthew Wiesner and Nanxin Chen and Adithya Renduchintala and Tsubasa Ochiai},
  title={{ESPnet}: End-to-End Speech Processing Toolkit},
  year={2018},
  booktitle={Proceedings of Interspeech},
  pages={2207--2211},
  doi={10.21437/Interspeech.2018-1456},
  url={http://dx.doi.org/10.21437/Interspeech.2018-1456}
}
@inproceedings{hayashi2020espnet,
  title={{Espnet-TTS}: Unified, reproducible, and integratable open source end-to-end text-to-speech toolkit},
  author={Hayashi, Tomoki and Yamamoto, Ryuichi and Inoue, Katsuki and Yoshimura, Takenori and Watanabe, Shinji and Toda, Tomoki and Takeda, Kazuya and Zhang, Yu and Tan, Xu},
  booktitle={Proceedings of IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)},
  pages={7654--7658},
  year={2020},
  organization={IEEE}
}

或者引用arXiv版本：

@misc{watanabe2018espnet,
      title={ESPnet: End-to-End Speech Processing Toolkit}, 
      author={Shinji Watanabe and Takaaki Hori and Shigeki Karita and Tomoki Hayashi and Jiro Nishitoba and Yuya Unno and Nelson Enrique Yalta Soplin and Jahn Heymann and Matthew Wiesner and Nanxin Chen and Adithya Renduchintala and Tsubasa Ochiai},
      year={2018},
      eprint={1804.00015},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}