Vits Cmn

🚀 VITS：用于端到端文本转语音的对抗学习条件变分自编码器

VITS是一个端到端的语音合成模型，它能根据输入的文本序列预测语音波形。它是一个条件变分自编码器（VAE），由后验编码器、解码器和条件先验组成。

🚀 快速开始

模型详情

💻 使用示例

基础用法

使用Hugging Face Transformers库调用此检查点：

from transformers import VitsModel, VitsTokenizer
from pypinyin import lazy_pinyin, Style
import torch

model = VitsModel.from_pretrained("BricksDisplay/vits-cmn")
tokenizer = VitsTokenizer.from_pretrained("BricksDisplay/vits-cmn")

text = "中文"
payload = ''.join(lazy_pinyin(text, style=Style.TONE, tone_sandhi=True))
inputs = tokenizer(payload, return_tensors="pt")

with torch.no_grad():
    output = model(**inputs, speaker_id=0)

from IPython.display import Audio
Audio(output.audio[0], rate=16000)

高级用法

使用Transformers.js库调用此检查点：

import { pipeline } from '@xenova/transformers';
import { pinyin } from 'pinyin-pro'; // Our use-case, using `pinyin-pro`

const synthesizer = await pipeline('text-to-audio', 'BricksDisplay/vits-cmn', { quantized: false })
console.log(await synthesizer(pinyin("中文")))
// {
//   audio: Float32Array(?) [ ... ],
//   sampling_rate: 16000
// }

⚠️ 重要提示

Transformers.js（ONNX）版本不支持speaker_id，因此其值固定为0。

📄 许可证

本项目采用Apache - 2.0许可证。