Wav2vec2 Large Xlsr 53 Spanish With Lm

🚀 Wav2Vec2-Large-XLSR-53-スペイン語-言語モデル付き

これは、言語モデルをサポートする Wav2Vec2-Large-XLSR-53-スペイン語 モデルのコピーです。

このモデルカードは、pyctcdecode と Transformers の統合のデモと見なすことができます。この統合は このPR によって主導されており、そのPRでは統合の仕組みが詳細に説明されています。

簡単に言うと、このPRでは新しい Wav2Vec2WithLMProcessor クラスが追加され、Wav2Vec2Processor の直接的な代替品として機能します。

既存の自動音声認識（ASR）パイプラインとの唯一の変更点は以下の通りです。

🚀 クイックスタート

変更点

import torch
from datasets import load_dataset
from transformers import AutoModelForCTC, AutoProcessor
import torchaudio.functional as F

model_id = "patrickvonplaten/wav2vec2-large-xlsr-53-spanish-with-lm"

sample = next(iter(load_dataset("common_voice", "es", split="test", streaming=True)))
resampled_audio = F.resample(torch.tensor(sample["audio"]["array"]), 48_000, 16_000).numpy()

model = AutoModelForCTC.from_pretrained(model_id)
processor = AutoProcessor.from_pretrained(model_id)

input_values = processor(resampled_audio, return_tensors="pt").input_values

with torch.no_grad():
    logits = model(input_values).logits

-prediction_ids = torch.argmax(logits, dim=-1)
-transcription = processor.batch_decode(prediction_ids)
+transcription = processor.batch_decode(logits.numpy()).text
# => 'bien y qué regalo vas a abrir primero'

改善点

このモデルは、スペイン語の Common Voice テストセットの 512 個の音声サンプルで比較され、性能が 20 % 向上しています。

結果はこのモデルリポジトリから以下のコマンドを実行することで再現できます。

bash run_ngram_wav2vec2.py 1 512

bash run_ngram_wav2vec2.py 0 512

ここで、run_ngram_wav2vec2.py は https://huggingface.co/patrickvonplaten/wav2vec2-large-xlsr-53-spanish-with-lm/blob/main/run_ngram_wav2vec2.py にあります。

📄 ライセンス

このプロジェクトは Apache 2.0 ライセンスの下で提供されています。