Nepali Male V1

🚀 模型 ID 模型卡片

本模型是一個端到端的文本轉語音模型，能夠根據輸入的尼泊爾語或印地語文本生成自然流暢的語音。它採用先進的 VITS 架構，結合變分推理和對抗學習，在語音合成領域表現出色。

🚀 快速開始

TTS 功能從 🤗 Transformers 庫的 4.33 版本開始可用。要使用此檢查點，請先安裝該庫的最新版本：

pip install --upgrade transformers accelerate

然後，使用以下代碼片段進行推理：

from transformers import VitsModel, AutoTokenizer
import torch

model = VitsModel.from_pretrained("procit001/nepali_male_v1")
tokenizer = AutoTokenizer.from_pretrained("procit001/nepali_male_v1")

text = "म पनि जान्छु है त अहिले लाई"
inputs = tokenizer(text, return_tensors="pt")

with torch.no_grad():
    output = model(**inputs).waveform

生成的波形可以保存為 .wav 文件：

import scipy

scipy.io.wavfile.write("techno.wav", rate=model.config.sampling_rate, data=output)

或者在 Jupyter Notebook / Google Colab 中顯示：

from IPython.display import Audio

Audio(output, rate=model.config.sampling_rate)

✨ 主要特性

• 端到端合成：VITS 是一個端到端的語音合成模型，能夠直接根據輸入的文本序列預測語音波形。
• 隨機節奏：模型包含隨機時長預測器，允許從相同的輸入文本合成具有不同節奏的語音。
• 非確定性生成：由於時長預測器的隨機性，模型是非確定性的，需要固定種子才能生成相同的語音波形。

🔧 技術細節

模型架構

VITS 是一個條件變分自編碼器（VAE），由後驗編碼器、解碼器和條件先驗組成。基於流的模塊預測一組基於頻譜圖的聲學特徵，該模塊由基於 Transformer 的文本編碼器和多個耦合層組成。頻譜圖使用一組轉置卷積層進行解碼，類似於 HiFi - GAN 聲碼器。

訓練方式

模型通過結合變分下界和對抗訓練得出的損失進行端到端訓練。為了提高模型的表達能力，對條件先驗分佈應用了歸一化流。

推理過程

在推理過程中，文本編碼根據時長預測模塊進行上採樣，然後使用流模塊和 HiFi - GAN 解碼器級聯映射到波形。

📄 許可證

模型採用 atulpokharel 許可證。

模型描述

• 開發者：[atulpokharel]
• 資助方（可選）：[atulpokharel]
• 共享方（可選）：[atulpokharel]
• 模型類型：[VITS（端到端文本轉語音的變分推理與對抗學習）]
• 語言（NLP）：[尼泊爾語 (np) 印地語(hin)]
• 許可證：[TuskByte v1]