Wav2vec2 Large 960h Lv60 Self 4 Gram

🚀 Wav2Vec2-Base-960h + 4-gram

このモデルは、FacebookのWav2Vec2-Large-960h-lv60-selfと同じですが、英語の4-gramが追加されています。Librispeechの公式ngramsの4-gram.arpa.gzが使用されています。

🚀 クイックスタート

このモデルを使用することで、自動音声認識タスクを行うことができます。以下に、評価コードの例を示します。

💻 使用例

基本的な使用法

from datasets import load_dataset
from transformers import AutoModelForCTC, AutoProcessor
import torch
from jiwer import wer

model_id = "patrickvonplaten/wav2vec2-large-960h-lv60-self-4-gram"

librispeech_eval = load_dataset("librispeech_asr", "other", split="test")

model = AutoModelForCTC.from_pretrained(model_id).to("cuda")
processor = AutoProcessor.from_pretrained(model_id)

def map_to_pred(batch):
    inputs = processor(batch["audio"]["array"], sampling_rate=16_000, return_tensors="pt")

    inputs = {k: v.to("cuda") for k,v in inputs.items()}

    with torch.no_grad():
        logits = model(**inputs).logits

    transcription = processor.batch_decode(logits.cpu().numpy()).text[0]
    batch["transcription"] = transcription
    return batch

result = librispeech_eval.map(map_to_pred, remove_columns=["audio"])

print(wer(result["text"], result["transcription"]))

評価結果

結果 (WER):

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。