Wav2vec2 Base 960h

🚀 Wav2Vec2-Base-960h

Wav2Vec2-Base-960h 是一個基於 960 小時 Librispeech 數據集、在 16kHz 採樣語音音頻上進行預訓練和微調的基礎模型。它能夠助力自動語音識別任務，為語音處理領域提供強大的支持。

🔍 基本信息

👀 示例展示

• Librispeech sample 1
• Librispeech sample 2

📚 相關鏈接

• Facebook's Wav2Vec2
• Paper
• 原模型地址：https://github.com/pytorch/fairseq/tree/master/examples/wav2vec#wav2vec-20

📝 作者信息

作者：Alexei Baevski、Henry Zhou、Abdelrahman Mohamed、Michael Auli

📃 摘要

我們首次證明，先從語音音頻中學習強大的表徵，再在轉錄語音上進行微調，這種方法在概念上更簡單的同時，還能超越最佳的半監督方法。wav2vec 2.0 在潛在空間中對語音輸入進行掩碼處理，並解決了一個基於聯合學習的潛在表徵量化定義的對比任務。使用 Librispeech 所有標註數據的實驗在乾淨/其他測試集上實現了 1.8/3.3 的字錯率（WER）。當將標註數據量減少到一小時時，wav2vec 2.0 在 100 小時子集上超越了之前的最優方法，同時使用的標註數據量減少了 100 倍。僅使用十分鐘的標註數據並在 53000 小時的未標註數據上進行預訓練，仍能實現 4.8/8.2 的 WER。這證明了在有限標註數據情況下進行語音識別的可行性。

🚀 快速開始

在使用該模型時，請確保你的語音輸入也是 16kHz 採樣的。

💻 使用示例

基礎用法

以下代碼展示瞭如何將該模型作為獨立的聲學模型來轉錄音頻文件：

from transformers import Wav2Vec2Processor, Wav2Vec2ForCTC
from datasets import load_dataset
import torch

# 加載模型和分詞器
processor = Wav2Vec2Processor.from_pretrained("facebook/wav2vec2-base-960h")
model = Wav2Vec2ForCTC.from_pretrained("facebook/wav2vec2-base-960h")

# 加載虛擬數據集並讀取音頻文件
ds = load_dataset("patrickvonplaten/librispeech_asr_dummy", "clean", split="validation")

# 分詞
input_values = processor(ds[0]["audio"]["array"], return_tensors="pt", padding="longest").input_values  # 批量大小為 1

# 獲取對數概率
logits = model(input_values).logits

# 取最大值並解碼
predicted_ids = torch.argmax(logits, dim=-1)
transcription = processor.batch_decode(predicted_ids)

高級用法

以下代碼展示瞭如何在 LibriSpeech 的“乾淨”和“其他”測試數據上評估 facebook/wav2vec2-base-960h 模型：

from datasets import load_dataset
from transformers import Wav2Vec2ForCTC, Wav2Vec2Processor
import torch
from jiwer import wer

librispeech_eval = load_dataset("librispeech_asr", "clean", split="test")

model = Wav2Vec2ForCTC.from_pretrained("facebook/wav2vec2-base-960h").to("cuda")
processor = Wav2Vec2Processor.from_pretrained("facebook/wav2vec2-base-960h")

def map_to_pred(batch):
    input_values = processor(batch["audio"]["array"], return_tensors="pt", padding="longest").input_values
    with torch.no_grad():
        logits = model(input_values.to("cuda")).logits

    predicted_ids = torch.argmax(logits, dim=-1)
    transcription = processor.batch_decode(predicted_ids)
    batch["transcription"] = transcription
    return batch

result = librispeech_eval.map(map_to_pred, batched=True, batch_size=1, remove_columns=["audio"])

print("WER:", wer(result["text"], result["transcription"]))

📊 評估結果