Wav2vec2 Large Xlsr 53 Spanish With Lm

🚀 Wav2Vec2-Large-XLSR-53-西班牙語-帶語言模型

這是一個具有語言模型支持的 Wav2Vec2-Large-XLSR-53-西班牙語 模型副本。

此模型卡片可視為 pyctcdecode 與 Transformers 集成的演示，該集成由 此PR 主導。該PR詳細解釋了集成的工作原理。

簡而言之：此PR添加了一個新的 Wav2Vec2WithLMProcessor 類，作為 Wav2Vec2Processor 的直接替代品。

與現有自動語音識別（ASR）管道的唯一變化如下：

🚀 快速開始

更改

import torch
from datasets import load_dataset
from transformers import AutoModelForCTC, AutoProcessor
import torchaudio.functional as F

model_id = "patrickvonplaten/wav2vec2-large-xlsr-53-spanish-with-lm"

sample = next(iter(load_dataset("common_voice", "es", split="test", streaming=True)))
resampled_audio = F.resample(torch.tensor(sample["audio"]["array"]), 48_000, 16_000).numpy()

model = AutoModelForCTC.from_pretrained(model_id)
processor = AutoProcessor.from_pretrained(model_id)

input_values = processor(resampled_audio, return_tensors="pt").input_values

with torch.no_grad():
    logits = model(input_values).logits

-prediction_ids = torch.argmax(logits, dim=-1)
-transcription = processor.batch_decode(prediction_ids)
+transcription = processor.batch_decode(logits.numpy()).text
# => 'bien y qué regalo vas a abrir primero'

改進

該模型已在西班牙語 Common Voice 測試集的 512 個語音樣本上進行了比較，性能提升了 20 %。

可以通過從該模型倉庫運行以下命令來重現結果：

bash run_ngram_wav2vec2.py 1 512

bash run_ngram_wav2vec2.py 0 512

其中 run_ngram_wav2vec2.py 位於 https://huggingface.co/patrickvonplaten/wav2vec2-large-xlsr-53-spanish-with-lm/blob/main/run_ngram_wav2vec2.py

📄 許可證

本項目採用 Apache 2.0 許可證。