Mms Spa Finetuned Chilean Monospeaker

🚀 トランスフォーマー（Transformers）

このライブラリは、テキストを音声に変換する機能を提供します。Massively Multilingual Speech (MMS) モデルのファインチューニング版で、軽量かつ低レイテンシーな音声合成を実現します。

🚀 クイックスタート

このモデルは、Massively Multilingual Speech (MMS) モデルのスペイン語版をファインチューニングしたものです。MMSモデルは、VITSアーキテクチャに基づく軽量で低レイテンシーの音声合成モデルです。

このモデルは、チリのスペイン語データセットを使用して、わずか80から150サンプルで約20分で学習されました。

学習レシピは、このGitHubリポジトリ: ylacombe/finetune-hf-vitsで入手できます。

✨ 主な機能

• 軽量かつ低レイテンシーの音声合成
• 少量のデータでの高速学習

📦 インストール

Transformers.jsのインストール

npm i @xenova/transformers

💻 使用例

基本的な使用法

from transformers import pipeline
import scipy

model_id = "ylacombe/mms-spa-finetuned-chilean-monospeaker"
synthesiser = pipeline("text-to-speech", model_id) # add device=0 if you want to use a GPU

speech = synthesiser("Hola, ¿cómo estás hoy?")

scipy.io.wavfile.write("finetuned_output.wav", rate=speech["sampling_rate"], data=speech["audio"])

高度な使用法

Transformers.jsを使用した音声合成

import { pipeline } from '@xenova/transformers';

// Create a text-to-speech pipeline
const synthesizer = await pipeline('text-to-speech', 'ylacombe/mms-spa-finetuned-chilean-monospeaker', {
    quantized: false, // Remove this line to use the quantized version (default)
});

// Generate speech
const output = await synthesizer('Hola, ¿cómo estás hoy?');
console.log(output);
// {
//   audio: Float32Array(69888) [ ... ],
//   sampling_rate: 16000
// }

音声をWAVファイルに保存する

import wavefile from 'wavefile';
import fs from 'fs';

const wav = new wavefile.WaveFile();
wav.fromScratch(1, output.sampling_rate, '32f', output.audio);
fs.writeFileSync('out.wav', wav.toBuffer());

📄 ライセンス

このモデルは、cc-by-nc-4.0 ライセンスの下で提供されています。

参考音声

情報テーブル

| 属性 | 详情 |
|------|------|
| モデルタイプ | ファインチューニングされたMMSモデル |
| 学習データ | ylacombe/google-chilean-spanish |