Wav2vec2 Base 960h 4 Gram

🚀 Wav2Vec2-Base-960h + 4-gram

本模型與 Facebook的Wav2Vec2-Base-960h 相同，但增加了一個英文4-gram。使用了 Librispeech官方ngrams 中的 4-gram.arpa.gz。

🚀 快速開始

模型信息

示例演示

• Librispeech示例1：點擊試聽
• Librispeech示例2：點擊試聽

評估結果

💻 使用示例

基礎用法

from datasets import load_dataset
from transformers import AutoModelForCTC, AutoProcessor
import torch
from jiwer import wer

model_id = "patrickvonplaten/wav2vec2-base-960h-4-gram"

librispeech_eval = load_dataset("librispeech_asr", "other", split="test")

model = AutoModelForCTC.from_pretrained(model_id).to("cuda")
processor = AutoProcessor.from_pretrained(model_id)

def map_to_pred(batch):
    inputs = processor(batch["audio"]["array"], sampling_rate=16_000, return_tensors="pt")

    inputs = {k: v.to("cuda") for k,v in inputs.items()}

    with torch.no_grad():
        logits = model(**inputs).logits

    transcription = processor.batch_decode(logits.cpu().numpy()).text[0]
    batch["transcription"] = transcription
    return batch

result = librispeech_eval.map(map_to_pred, remove_columns=["audio"])

print(wer(result["text"], result["transcription"]))

此代碼片段展示瞭如何在LibriSpeech的“clean”和“other”測試數據上評估 patrickvonplaten/wav2vec2-base-960h-4-gram 模型。

高級用法

暫未提供相關高級用法示例，若有更多需求，可基於上述基礎用法進行拓展。

📄 許可證

本項目採用 Apache-2.0 許可證。