Nepali Male V1

🚀 模型 ID 模型卡片

本模型是一个端到端的文本转语音模型，能够根据输入的尼泊尔语或印地语文本生成自然流畅的语音。它采用先进的 VITS 架构，结合变分推理和对抗学习，在语音合成领域表现出色。

🚀 快速开始

TTS 功能从 🤗 Transformers 库的 4.33 版本开始可用。要使用此检查点，请先安装该库的最新版本：

pip install --upgrade transformers accelerate

然后，使用以下代码片段进行推理：

from transformers import VitsModel, AutoTokenizer
import torch

model = VitsModel.from_pretrained("procit001/nepali_male_v1")
tokenizer = AutoTokenizer.from_pretrained("procit001/nepali_male_v1")

text = "म पनि जान्छु है त अहिले लाई"
inputs = tokenizer(text, return_tensors="pt")

with torch.no_grad():
    output = model(**inputs).waveform

生成的波形可以保存为 .wav 文件：

import scipy

scipy.io.wavfile.write("techno.wav", rate=model.config.sampling_rate, data=output)

或者在 Jupyter Notebook / Google Colab 中显示：

from IPython.display import Audio

Audio(output, rate=model.config.sampling_rate)

✨ 主要特性

• 端到端合成：VITS 是一个端到端的语音合成模型，能够直接根据输入的文本序列预测语音波形。
• 随机节奏：模型包含随机时长预测器，允许从相同的输入文本合成具有不同节奏的语音。
• 非确定性生成：由于时长预测器的随机性，模型是非确定性的，需要固定种子才能生成相同的语音波形。

🔧 技术细节

模型架构

VITS 是一个条件变分自编码器（VAE），由后验编码器、解码器和条件先验组成。基于流的模块预测一组基于频谱图的声学特征，该模块由基于 Transformer 的文本编码器和多个耦合层组成。频谱图使用一组转置卷积层进行解码，类似于 HiFi - GAN 声码器。

训练方式

模型通过结合变分下界和对抗训练得出的损失进行端到端训练。为了提高模型的表达能力，对条件先验分布应用了归一化流。

推理过程

在推理过程中，文本编码根据时长预测模块进行上采样，然后使用流模块和 HiFi - GAN 解码器级联映射到波形。

📄 许可证

模型采用 atulpokharel 许可证。

模型描述

• 开发者：[atulpokharel]
• 资助方（可选）：[atulpokharel]
• 共享方（可选）：[atulpokharel]
• 模型类型：[VITS（端到端文本转语音的变分推理与对抗学习）]
• 语言（NLP）：[尼泊尔语 (np) 印地语(hin)]
• 许可证：[TuskByte v1]