Vits Cmn

🚀 VITS：用於端到端文本轉語音的對抗學習條件變分自編碼器

VITS是一個端到端的語音合成模型，它能根據輸入的文本序列預測語音波形。它是一個條件變分自編碼器（VAE），由後驗編碼器、解碼器和條件先驗組成。

🚀 快速開始

模型詳情

💻 使用示例

基礎用法

使用Hugging Face Transformers庫調用此檢查點：

from transformers import VitsModel, VitsTokenizer
from pypinyin import lazy_pinyin, Style
import torch

model = VitsModel.from_pretrained("BricksDisplay/vits-cmn")
tokenizer = VitsTokenizer.from_pretrained("BricksDisplay/vits-cmn")

text = "中文"
payload = ''.join(lazy_pinyin(text, style=Style.TONE, tone_sandhi=True))
inputs = tokenizer(payload, return_tensors="pt")

with torch.no_grad():
    output = model(**inputs, speaker_id=0)

from IPython.display import Audio
Audio(output.audio[0], rate=16000)

高級用法

使用Transformers.js庫調用此檢查點：

import { pipeline } from '@xenova/transformers';
import { pinyin } from 'pinyin-pro'; // Our use-case, using `pinyin-pro`

const synthesizer = await pipeline('text-to-audio', 'BricksDisplay/vits-cmn', { quantized: false })
console.log(await synthesizer(pinyin("中文")))
// {
//   audio: Float32Array(?) [ ... ],
//   sampling_rate: 16000
// }

⚠️ 重要提示

Transformers.js（ONNX）版本不支持speaker_id，因此其值固定為0。

📄 許可證

本項目採用Apache - 2.0許可證。