Unispeech 1350 En 168 Es Ft 1h

🚀 UniSpeech-Large-plus スペイン語版

MicrosoftのUniSpeechは、ラベル付きとラベル無しのデータを用いて統一的な音声表現学習を行うモデルで、スペイン語の音素分類タスクに対応しています。

🚀 クイックスタート

このモデルは、16kHzでサンプリングされた音声オーディオと音素ラベルを用いて事前学習され、1時間分のスペイン語音素データでファインチューニングされています。モデルを使用する際には、入力音声が16kHzでサンプリングされ、テキストが音素列に変換されていることを確認してください。

元のモデルはこちらで確認できます。

✨ 主な機能

• 音素分類タスクに対応した音声モデルです。
• ラベル付きとラベル無しのデータを用いた統一的な事前学習アプローチに基づいています。
• 言語やドメイン間の汎化性能に優れています。

📦 インストール

このセクションでは、必要なライブラリのインストール方法を説明します。以下のコマンドを使用して、必要なライブラリをインストールしてください。

pip install torch datasets transformers torchaudio

💻 使用例

基本的な使用法

import torch
from datasets import load_dataset
from transformers import AutoModelForCTC, AutoProcessor
import torchaudio.functional as F

model_id = "microsoft/unispeech-1350-en-168-es-ft-1h"

sample = next(iter(load_dataset("common_voice", "es", split="test", streaming=True)))
resampled_audio = F.resample(torch.tensor(sample["audio"]["array"]), 48_000, 16_000).numpy()

model = AutoModelForCTC.from_pretrained(model_id)
processor = AutoProcessor.from_pretrained(model_id)

input_values = processor(resampled_audio, return_tensors="pt").input_values

with torch.no_grad():
    logits = model(input_values).logits

prediction_ids = torch.argmax(logits, dim=-1)
transcription = processor.batch_decode(prediction_ids)
# -> gives:
# b j e n i k e ɾ ɾ e ɣ a l o a s a β ɾ i ɾ p ɾ i m e ɾ o'
# for: Bien . ¿ y qué regalo vas a abrir primero ?

📚 ドキュメント

論文情報

論文: UniSpeech: Unified Speech Representation Learning with Labeled and Unlabeled Data

著者: Chengyi Wang, Yu Wu, Yao Qian, Kenichi Kumatani, Shujie Liu, Furu Wei, Michael Zeng, Xuedong Huang

概要 本論文では、ラベル付きとラベル無しのデータを用いて音声表現を学習するための統一的な事前学習アプローチであるUniSpeechを提案します。このアプローチでは、教師あり音素CTC学習と音素認識型の自己教師付き学習をマルチタスク学習の方式で行います。得られた表現は、音素構造とより相関の高い情報を捉えることができ、言語やドメイン間の汎化性能を向上させます。我々は、公開されているCommonVoiceコーパスを用いて、UniSpeechの多言語表現学習の有効性を評価しました。結果は、UniSpeechが自己教師付き事前学習と教師あり転移学習に比べて、音声認識の音素誤り率をそれぞれ最大13.4%と17.8%相対的に削減することを示しています（すべてのテスト言語で平均）。また、ドメインシフト音声認識タスクでも、UniSpeechの転移可能性が実証されており、従来のアプローチに比べて6%の相対的な単語誤り率の削減が達成されています。

🔧 技術詳細

このモデルは、Microsoftによって開発されたUniSpeechモデルをベースに、スペイン語の音素分類タスクに対してファインチューニングされています。事前学習では、16kHzでサンプリングされた音声オーディオと音素ラベルを用いて、教師あり音素CTC学習と音素認識型の自己教師付き学習をマルチタスク学習の方式で行っています。これにより、モデルは音素構造とより相関の高い情報を捉えることができ、言語やドメイン間の汎化性能が向上しています。

📄 ライセンス

公式のライセンスはこちらで確認できます。

🔗 関連情報

• モデルは cywang と patrickvonplaten によって貢献されました。
• 公式の結果は UniSpeeech-L^{+} - es を参照してください。