Vits Cmn

🚀 VITS: 敵対的学習を用いた条件付き変分オートエンコーダによるエンドツーエンドのテキスト読み上げ

VITSは、入力されたテキストシーケンスに基づいて音声波形を予測するエンドツーエンドの音声合成モデルです。事後エンコーダ、デコーダ、および条件付き事前分布から構成される条件付き変分オートエンコーダ（VAE）です。

📚 ドキュメント

モデル詳細

💻 使用例

基本的な使用法

Hugging Face Transformersからの使用

from transformers import VitsModel, VitsTokenizer
from pypinyin import lazy_pinyin, Style
import torch

model = VitsModel.from_pretrained("BricksDisplay/vits-cmn")
tokenizer = VitsTokenizer.from_pretrained("BricksDisplay/vits-cmn")

text = "中文"
payload = ''.join(lazy_pinyin(text, style=Style.TONE, tone_sandhi=True))
inputs = tokenizer(payload, return_tensors="pt")

with torch.no_grad():
    output = model(**inputs, speaker_id=0)

from IPython.display import Audio
Audio(output.audio[0], rate=16000)

Transformers.jsからの使用

import { pipeline } from '@xenova/transformers';
import { pinyin } from 'pinyin-pro'; // Our use-case, using `pinyin-pro`

const synthesizer = await pipeline('text-to-audio', 'BricksDisplay/vits-cmn', { quantized: false })
console.log(await synthesizer(pinyin("中文")))
// {
//   audio: Float32Array(?) [ ... ],
//   sampling_rate: 16000
// }

⚠️ 重要提示

Transformers.js（ONNX）バージョンはspeaker_idをサポートしていないため、0に固定されます。

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。