Data2vec Audio Base 960h

🚀 Data2Vec-Audio-Base-960h

基於Facebook的Data2Vec框架，在960小時的Librispeech語音音頻數據上進行預訓練和微調的基礎模型，可用於自動語音識別任務。

🚀 快速開始

本模型是在16kHz採樣的語音音頻上，基於960小時的Librispeech數據進行預訓練和微調的基礎模型。使用該模型時，請確保輸入的語音也採樣為16kHz。

論文鏈接：Paper

作者：Alexei Baevski, Wei-Ning Hsu, Qiantong Xu, Arun Babu, Jiatao Gu, Michael Auli

摘要

雖然自監督學習的總體思路在不同模態之間是相同的，但實際的算法和目標卻有很大差異，因為它們是針對單一模態開發的。為了更接近通用的自監督學習，我們提出了data2vec框架，該框架對語音、自然語言處理或計算機視覺使用相同的學習方法。其核心思想是在使用標準Transformer架構的自蒸餾設置中，基於輸入的掩碼視圖來預測完整輸入數據的潛在表示。與預測特定模態的目標（如單詞、視覺標記或人類語音單元，這些本質上是局部的）不同，data2vec預測包含整個輸入信息的上下文潛在表示。在語音識別、圖像分類和自然語言理解的主要基準測試上的實驗表明，該方法達到了新的技術水平，或與主流方法具有競爭力。

原始模型可在 https://github.com/pytorch/fairseq/tree/main/examples/data2vec 找到。

✨ 主要特性

• 多模態通用框架：使用相同的學習方法應用於語音、NLP和計算機視覺領域。
• 上下文潛在表示預測：預測包含整個輸入信息的上下文潛在表示，而非局部特定模態目標。
• 優秀的實驗表現：在語音識別、圖像分類和自然語言理解的主要基準測試中達到新的技術水平或具有競爭力。

📦 安裝指南

文檔中未提及具體安裝步驟，可參考原始模型倉庫 https://github.com/pytorch/fairseq/tree/main/examples/data2vec 進行安裝。

💻 使用示例

基礎用法

以下代碼展示瞭如何將該模型作為獨立的聲學模型來轉錄音頻文件：

from transformers import Wav2Vec2Processor, Data2VecForCTC
from datasets import load_dataset
import torch

# 加載模型和處理器
processor = Wav2Vec2Processor.from_pretrained("facebook/data2vec-audio-base-960h")
model = Data2VecForCTC.from_pretrained("facebook/data2vec-audio-base-960h")

# 加載虛擬數據集並讀取音頻文件
ds = load_dataset("patrickvonplaten/librispeech_asr_dummy", "clean", split="validation")

# 進行分詞
input_values = processor(ds[0]["audio"]["array"], return_tensors="pt", padding="longest").input_values  # 批量大小為1

# 獲取對數概率
logits = model(input_values).logits

# 取最大值並解碼
predicted_ids = torch.argmax(logits, dim=-1)
transcription = processor.batch_decode(predicted_ids)

高級用法

以下代碼展示瞭如何在LibriSpeech的“clean”和“other”測試數據上評估 facebook/data2vec-audio-base-960h 模型：

from transformers import Wav2Vec2Processor, Data2VecForCTC
from datasets import load_dataset
import torch
from jiwer import wer

# 加載模型和處理器
processor = Wav2Vec2Processor.from_pretrained("facebook/data2vec-audio-base-960h").to("cuda")
model = Data2VecForCTC.from_pretrained("facebook/data2vec-audio-base-960h")

librispeech_eval = load_dataset("librispeech_asr", "clean", split="test")

def map_to_pred(batch):
    input_values = processor(batch["audio"]["array"], return_tensors="pt", padding="longest").input_values
    with torch.no_grad():
        logits = model(input_values.to("cuda")).logits

    predicted_ids = torch.argmax(logits, dim=-1)
    transcription = processor.batch_decode(predicted_ids)
    batch["transcription"] = transcription
    return batch

result = librispeech_eval.map(map_to_pred, batched=True, batch_size=1, remove_columns=["audio"])

print("WER:", wer(result["text"], result["transcription"]))

評估結果

📚 詳細文檔

預訓練方法

更多信息，請參考 官方論文。

📄 許可證

本項目採用Apache-2.0許可證。

🔍 其他信息