kan-bayashi_vctk_xvector_conformer_fastspeech2開源文本轉語音模型

首頁

Kan Bayashi Vctk Xvector Conformer Fastspeech2

由espnet開發

基於ESPnet框架訓練的文本轉語音模型，使用VCTK數據集，支持多說話人語音合成

語音合成英語#多說話人語音合成 #xvector聲紋嵌入 #Conformer架構

下載量 15

發布時間 : 3/2/2022

模型概述

該模型是一個基於FastSpeech2架構的文本轉語音(TTS)模型，結合了Conformer編碼器和xvector說話人嵌入，能夠生成高質量的語音輸出，並支持多說話人語音合成。

模型特點

多說話人支持

通過xvector說話人嵌入技術，模型可以合成不同說話人的語音

高質量語音合成

採用FastSpeech2架構結合Conformer編碼器，生成自然流暢的語音

基於ESPnet框架

使用開源的ESPnet工具包訓練，具有良好的可復現性和可擴展性

模型能力

文本轉語音

多說話人語音合成

英語語音生成

使用案例

語音合成應用

有聲讀物生成

將文本內容轉換為自然語音，用於製作有聲讀物

可生成不同說話人風格的有聲內容

語音助手

為語音助手系統提供語音合成能力

支持多種語音風格選擇

🚀 ESPnet2 TTS示例模型

本模型是一個文本轉語音（TTS）模型，基於espnet框架訓練，能實現高效準確的語音合成。

🚀 快速開始

此模型由kan - bayashi使用espnet中的vctk/tts1配方進行訓練。該模型從https://zenodo.org/record/4394602/ 導入。

💻 使用示例

基礎用法

# coming soon

📄 許可證

本項目採用CC - BY - 4.0許可證。

📚 詳細文檔

引用ESPnet

如果你使用了該模型，可以按照以下格式引用ESPnet：

BibTeX格式

@inproceedings{watanabe2018espnet,
  author={Shinji Watanabe and Takaaki Hori and Shigeki Karita and Tomoki Hayashi and Jiro Nishitoba and Yuya Unno and Nelson {Enrique Yalta Soplin} and Jahn Heymann and Matthew Wiesner and Nanxin Chen and Adithya Renduchintala and Tsubasa Ochiai},
  title={{ESPnet}: End-to-End Speech Processing Toolkit},
  year={2018},
  booktitle={Proceedings of Interspeech},
  pages={2207--2211},
  doi={10.21437/Interspeech.2018-1456},
  url={http://dx.doi.org/10.21437/Interspeech.2018-1456}
}
@inproceedings{hayashi2020espnet,
  title={{Espnet-TTS}: Unified, reproducible, and integratable open source end-to-end text-to-speech toolkit},
  author={Hayashi, Tomoki and Yamamoto, Ryuichi and Inoue, Katsuki and Yoshimura, Takenori and Watanabe, Shinji and Toda, Tomoki and Takeda, Kazuya and Zhang, Yu and Tan, Xu},
  booktitle={Proceedings of IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)},
  pages={7654--7658},
  year={2020},
  organization={IEEE}
}

arXiv格式

@misc{watanabe2018espnet,
      title={ESPnet: End-to-End Speech Processing Toolkit}, 
      author={Shinji Watanabe and Takaaki Hori and Shigeki Karita and Tomoki Hayashi and Jiro Nishitoba and Yuya Unno and Nelson Enrique Yalta Soplin and Jahn Heymann and Matthew Wiesner and Nanxin Chen and Adithya Renduchintala and Tsubasa Ochiai},
      year={2018},
      eprint={1804.00015},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}