Data2vec Audio Large 100h

🚀 Data2Vec-Audio-Large-100h

Data2Vec-Audio-Large-100h是一個在16kHz採樣的語音音頻上，基於100小時的Librispeech數據集進行預訓練和微調的大型模型。使用該模型時，請確保輸入的語音也是16kHz採樣的。

🚀 快速開始

本模型可作為獨立的聲學模型來轉錄音頻文件，示例代碼如下：

 from transformers import Wav2Vec2Processor, Data2VecForCTC
 from datasets import load_dataset
 import torch
 
 # load model and processor
 processor = Wav2Vec2Processor.from_pretrained("facebook/data2vec-audio-large-100h")
 model = Data2VecForCTC.from_pretrained("facebook/data2vec-audio-large-100h")
     
 # load dummy dataset and read soundfiles
 ds = load_dataset("patrickvonplaten/librispeech_asr_dummy", "clean", split="validation")
 
 # tokenize
 input_values = processor(ds[0]["audio"]["array"],, return_tensors="pt", padding="longest").input_values  # Batch size 1
 
 # retrieve logits
 logits = model(input_values).logits
 
 # take argmax and decode
 predicted_ids = torch.argmax(logits, dim=-1)
 transcription = processor.batch_decode(predicted_ids)

✨ 主要特性

• 跨模態通用框架：Facebook的Data2Vec 提供了一個通用的自監督學習框架，可用於語音、自然語言處理和計算機視覺等領域。
• 預測上下文潛在表示：該模型不預測特定模態的目標（如單詞、視覺標記或人類語音單元），而是預測包含整個輸入信息的上下文潛在表示。
• 優異性能：在語音識別、圖像分類和自然語言理解等主要基準測試中，展現了新的技術水平或與主流方法相競爭的性能。

📚 詳細文檔

論文摘要

雖然自監督學習的總體思路在不同模態之間是相同的，但實際的算法和目標卻有很大差異，因為它們是針對單一模態開發的。為了更接近通用的自監督學習，我們提出了Data2Vec框架，該框架在語音、NLP或計算機視覺中使用相同的學習方法。其核心思想是在使用標準Transformer架構的自蒸餾設置中，基於輸入的掩碼視圖來預測整個輸入數據的潛在表示。Data2Vec不預測特定模態的目標（如單詞、視覺標記或人類語音單元，這些本質上是局部的），而是預測包含整個輸入信息的上下文潛在表示。在語音識別、圖像分類和自然語言理解等主要基準測試上的實驗表明，該方法達到了新的技術水平，或與主流方法具有競爭力。

論文鏈接：Paper

作者：Alexei Baevski, Wei-Ning Hsu, Qiantong Xu, Arun Babu, Jiatao Gu, Michael Auli

預訓練方法

更多信息請參考 官方論文。

模型原始代碼

原始模型代碼可在 https://github.com/pytorch/fairseq/tree/main/examples/data2vec 找到。

📄 許可證

本項目採用Apache-2.0許可證。

🔍 相關標籤和數據集

• 標籤：speech
• 數據集：librispeech_asr