Wav2vec2 Base 960h 4 Gram

🚀 Wav2Vec2-Base-960h + 4-gram

本模型与 Facebook的Wav2Vec2-Base-960h 相同，但增加了一个英文4-gram。使用了 Librispeech官方ngrams 中的 4-gram.arpa.gz。

🚀 快速开始

模型信息

示例演示

• Librispeech示例1：点击试听
• Librispeech示例2：点击试听

评估结果

💻 使用示例

基础用法

from datasets import load_dataset
from transformers import AutoModelForCTC, AutoProcessor
import torch
from jiwer import wer

model_id = "patrickvonplaten/wav2vec2-base-960h-4-gram"

librispeech_eval = load_dataset("librispeech_asr", "other", split="test")

model = AutoModelForCTC.from_pretrained(model_id).to("cuda")
processor = AutoProcessor.from_pretrained(model_id)

def map_to_pred(batch):
    inputs = processor(batch["audio"]["array"], sampling_rate=16_000, return_tensors="pt")

    inputs = {k: v.to("cuda") for k,v in inputs.items()}

    with torch.no_grad():
        logits = model(**inputs).logits

    transcription = processor.batch_decode(logits.cpu().numpy()).text[0]
    batch["transcription"] = transcription
    return batch

result = librispeech_eval.map(map_to_pred, remove_columns=["audio"])

print(wer(result["text"], result["transcription"]))

此代码片段展示了如何在LibriSpeech的“clean”和“other”测试数据上评估 patrickvonplaten/wav2vec2-base-960h-4-gram 模型。

高级用法

暂未提供相关高级用法示例，若有更多需求，可基于上述基础用法进行拓展。

📄 许可证

本项目采用 Apache-2.0 许可证。