Wav2vec2 Large 960h Lv60 Self 4 Gram

🚀 Wav2Vec2-Base-960h + 4-gram

該模型與 Facebook的Wav2Vec2-Large-960h-lv60-self 相同，但增加了一個英文4-gram。使用了 Librispeech官方ngrams 中的 4-gram.arpa.gz。

🚀 快速開始

✨ 主要特性

• 數據集：使用了 librispeech_asr 數據集。
• 標籤：涵蓋 audio、automatic-speech-recognition、hf-asr-leaderboard 等標籤。
• 許可證：採用 apache-2.0 許可證。
• 示例：提供了兩個來自Librispeech的音頻示例，分別可通過 示例1 和 示例2 訪問。

📦 信息表格

💻 使用示例

基礎用法

以下代碼片段展示瞭如何在LibriSpeech的“clean”和“other”測試數據上評估 patrickvonplaten/wav2vec2-large-960h-lv60-self-4-gram 模型。

from datasets import load_dataset
from transformers import AutoModelForCTC, AutoProcessor
import torch
from jiwer import wer

model_id = "patrickvonplaten/wav2vec2-large-960h-lv60-self-4-gram"

librispeech_eval = load_dataset("librispeech_asr", "other", split="test")

model = AutoModelForCTC.from_pretrained(model_id).to("cuda")
processor = AutoProcessor.from_pretrained(model_id)

def map_to_pred(batch):
    inputs = processor(batch["audio"]["array"], sampling_rate=16_000, return_tensors="pt")

    inputs = {k: v.to("cuda") for k,v in inputs.items()}

    with torch.no_grad():
        logits = model(**inputs).logits

    transcription = processor.batch_decode(logits.cpu().numpy()).text[0]
    batch["transcription"] = transcription
    return batch

result = librispeech_eval.map(map_to_pred, remove_columns=["audio"])

print(wer(result["text"], result["transcription"]))

📄 許可證

本項目採用 apache-2.0 許可證。