Wav2vec2 Base 100h

🚀 Wav2Vec2-Base-100h

Wav2Vec2-Base-100h是facebook/wav2vec2-base-100h的一個分支項目，主要用於音頻的自動語音識別任務。

✨ 主要特性

• 對新的transformer和datasets版本進行了可復現的評估文檔記錄。
• 使用批量大小為1來複現結果。
• 已通過transformers v4.15.0和datasets 1.18.0版本驗證。

📦 安裝指南

你可能需要手動安裝以下Python包：

• librosa
• jiwer

💻 使用示例

基礎用法

以下代碼片段展示瞭如何在LibriSpeech的“clean”和“other”測試數據上評估facebook/wav2vec2-base-100h。

from datasets import load_dataset
from transformers import Wav2Vec2ForCTC, Wav2Vec2Processor
import soundfile as sf
import torch
from jiwer import wer

librispeech_eval = load_dataset("librispeech_asr", "clean", split="test")
# librispeech_eval = load_dataset("librispeech_asr", "other", split="test")

model = Wav2Vec2ForCTC.from_pretrained("facebook/wav2vec2-base-100h").to("cuda")
processor = Wav2Vec2Processor.from_pretrained("facebook/wav2vec2-base-100h")

def map_to_array(batch):
    # speech, _ = sf.read(batch["file"])
    # batch["speech"] = speech
    batch["speech"] = batch['audio']['array']
    return batch

librispeech_eval = librispeech_eval.map(map_to_array)

def map_to_pred(batch):
    input_values = processor(batch["speech"], return_tensors="pt", padding="longest").input_values
    with torch.no_grad():
        logits = model(input_values.to("cuda")).logits

    predicted_ids = torch.argmax(logits, dim=-1)
    transcription = processor.batch_decode(predicted_ids)
    batch["transcription"] = transcription
    return batch

result = librispeech_eval.map(map_to_pred, batched=True, batch_size=1, remove_columns=["speech"])

print("WER:", wer(result["text"], result["transcription"]))

評估結果

📄 許可證

本項目採用Apache 2.0許可證。