kan-bayashi_ljspeech开源文本转语音模型 - 免费部署实现自然语音合成

首页

Kan Bayashi Ljspeech Joint Finetune Conformer Fastspeech2 Hifigan

由 espnet 开发

这是一个基于 ESPnet2 的文本转语音(TTS)模型，使用 LJSpeech 数据集训练，结合了 Conformer、FastSpeech2 和 HiFi-GAN 架构。

语音合成英语#联合微调TTS #Conformer架构 #HiFi-GAN声码器

下载量 20

发布时间 : 3/2/2022

模型简介

该模型是一个高质量的英文文本转语音系统，能够将文本输入转换为自然流畅的语音输出。

模型特点

联合架构

结合了 Conformer 的序列建模能力、FastSpeech2 的高效合成和 HiFi-GAN 的高质量声码器

高质量语音

能够生成自然流畅的英语语音

ESPnet2 集成

基于 ESPnet2 框架，便于与其他语音处理工具集成

模型能力

文本转语音

英语语音合成

使用案例

语音合成应用

有声读物生成

将电子书文本转换为自然语音

生成高质量的英语有声读物

语音助手

为智能设备提供自然语音输出

提升用户体验的自然度

🚀 ESPnet2 TTS预训练模型

这是一个基于ESPnet2的文本转语音（TTS）预训练模型，可用于音频处理，解决文本到语音转换的问题，为语音合成应用提供便利。

🚀 快速开始

此模型由kan-bayashi使用 espnet 中的ljspeech/tts1配方进行训练。该模型从 https://zenodo.org/record/5498896/ 导入。

💻 使用示例

基础用法

# coming soon

📄 许可证

本模型使用的许可证为 cc-by-4.0。

📚 详细文档

引用ESPnet

如果你在研究中使用了ESPnet，可以按照以下方式进行引用：

@inproceedings{watanabe2018espnet,
  author={Shinji Watanabe and Takaaki Hori and Shigeki Karita and Tomoki Hayashi and Jiro Nishitoba and Yuya Unno and Nelson {Enrique Yalta Soplin} and Jahn Heymann and Matthew Wiesner and Nanxin Chen and Adithya Renduchintala and Tsubasa Ochiai},
  title={{ESPnet}: End-to-End Speech Processing Toolkit},
  year={2018},
  booktitle={Proceedings of Interspeech},
  pages={2207--2211},
  doi={10.21437/Interspeech.2018-1456},
  url={http://dx.doi.org/10.21437/Interspeech.2018-1456}
}
@inproceedings{hayashi2020espnet,
  title={{Espnet-TTS}: Unified, reproducible, and integratable open source end-to-end text-to-speech toolkit},
  author={Hayashi, Tomoki and Yamamoto, Ryuichi and Inoue, Katsuki and Yoshimura, Takenori and Watanabe, Shinji and Toda, Tomoki and Takeda, Kazuya and Zhang, Yu and Tan, Xu},
  booktitle={Proceedings of IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)},
  pages={7654--7658},
  year={2020},
  organization={IEEE}
}

或者引用arXiv版本：

@misc{watanabe2018espnet,
      title={ESPnet: End-to-End Speech Processing Toolkit}, 
      author={Shinji Watanabe and Takaaki Hori and Shigeki Karita and Tomoki Hayashi and Jiro Nishitoba and Yuya Unno and Nelson Enrique Yalta Soplin and Jahn Heymann and Matthew Wiesner and Nanxin Chen and Adithya Renduchintala and Tsubasa Ochiai},
      year={2018},
      eprint={1804.00015},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}