kan-bayashi_vctk_xvector_conformer_fastspeech2开源文本转语音模型

首页

Kan Bayashi Vctk Xvector Conformer Fastspeech2

由 espnet 开发

基于ESPnet框架训练的文本转语音模型，使用VCTK数据集，支持多说话人语音合成

语音合成英语#多说话人语音合成 #xvector声纹嵌入 #Conformer架构

下载量 15

发布时间 : 3/2/2022

模型简介

该模型是一个基于FastSpeech2架构的文本转语音(TTS)模型，结合了Conformer编码器和xvector说话人嵌入，能够生成高质量的语音输出，并支持多说话人语音合成。

模型特点

多说话人支持

通过xvector说话人嵌入技术，模型可以合成不同说话人的语音

高质量语音合成

采用FastSpeech2架构结合Conformer编码器，生成自然流畅的语音

基于ESPnet框架

使用开源的ESPnet工具包训练，具有良好的可复现性和可扩展性

模型能力

文本转语音

多说话人语音合成

英语语音生成

使用案例

语音合成应用

有声读物生成

将文本内容转换为自然语音，用于制作有声读物

可生成不同说话人风格的有声内容

语音助手

为语音助手系统提供语音合成能力

支持多种语音风格选择

🚀 ESPnet2 TTS示例模型

本模型是一个文本转语音（TTS）模型，基于espnet框架训练，能实现高效准确的语音合成。

🚀 快速开始

此模型由kan - bayashi使用espnet中的vctk/tts1配方进行训练。该模型从https://zenodo.org/record/4394602/ 导入。

💻 使用示例

基础用法

# coming soon

📄 许可证

本项目采用CC - BY - 4.0许可证。

📚 详细文档

引用ESPnet

如果你使用了该模型，可以按照以下格式引用ESPnet：

BibTeX格式

@inproceedings{watanabe2018espnet,
  author={Shinji Watanabe and Takaaki Hori and Shigeki Karita and Tomoki Hayashi and Jiro Nishitoba and Yuya Unno and Nelson {Enrique Yalta Soplin} and Jahn Heymann and Matthew Wiesner and Nanxin Chen and Adithya Renduchintala and Tsubasa Ochiai},
  title={{ESPnet}: End-to-End Speech Processing Toolkit},
  year={2018},
  booktitle={Proceedings of Interspeech},
  pages={2207--2211},
  doi={10.21437/Interspeech.2018-1456},
  url={http://dx.doi.org/10.21437/Interspeech.2018-1456}
}
@inproceedings{hayashi2020espnet,
  title={{Espnet-TTS}: Unified, reproducible, and integratable open source end-to-end text-to-speech toolkit},
  author={Hayashi, Tomoki and Yamamoto, Ryuichi and Inoue, Katsuki and Yoshimura, Takenori and Watanabe, Shinji and Toda, Tomoki and Takeda, Kazuya and Zhang, Yu and Tan, Xu},
  booktitle={Proceedings of IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)},
  pages={7654--7658},
  year={2020},
  organization={IEEE}
}

arXiv格式

@misc{watanabe2018espnet,
      title={ESPnet: End-to-End Speech Processing Toolkit}, 
      author={Shinji Watanabe and Takaaki Hori and Shigeki Karita and Tomoki Hayashi and Jiro Nishitoba and Yuya Unno and Nelson Enrique Yalta Soplin and Jahn Heymann and Matthew Wiesner and Nanxin Chen and Adithya Renduchintala and Tsubasa Ochiai},
      year={2018},
      eprint={1804.00015},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}