Data2vec Audio Base

🚀 數據2向量音頻基礎模型（Data2Vec-Audio-Base）

本模型是基於16kHz採樣語音音頻進行預訓練的基礎模型。它源自Facebook的Data2Vec框架，為語音、自然語言處理和計算機視覺提供了統一的自監督學習方法。使用該模型時，請確保輸入的語音也以16kHz採樣。

🚀 快速開始

本模型是在16kHz採樣的語音音頻上進行預訓練的基礎模型。使用模型時，請確保您的語音輸入也是以16kHz採樣的。

注意：此模型沒有分詞器，因為它僅在音頻上進行了預訓練。為了將此模型用於語音識別，需要創建一個分詞器，並在帶標籤的文本數據上對模型進行微調。有關如何微調模型的詳細解釋，請查看此博客。

✨ 主要特性

• 跨模態統一學習：該模型基於Facebook的Data2Vec框架，使用相同的學習方法處理語音、自然語言處理和計算機視覺任務。
• 預測上下文潛在表示：與預測特定模態的目標（如單詞、視覺標記或人類語音單元）不同，Data2Vec預測包含整個輸入信息的上下文潛在表示。
• 優異性能：在語音識別、圖像分類和自然語言理解的主要基準測試中，該模型展現出了新的技術水平或與主流方法相當的性能。

📚 詳細文檔

論文信息

• 論文鏈接：https://arxiv.org/abs/2202.03555
• 作者：Alexei Baevski, Wei-Ning Hsu, Qiantong Xu, Arun Babu, Jiatao Gu, Michael Auli
• 摘要：雖然自監督學習的總體思想在不同模態之間是相同的，但實際的算法和目標卻有很大差異，因為它們是針對單一模態開發的。為了更接近通用的自監督學習，我們提出了Data2Vec框架，該框架對語音、自然語言處理或計算機視覺使用相同的學習方法。核心思想是在使用標準Transformer架構的自蒸餾設置中，基於輸入的掩碼視圖預測完整輸入數據的潛在表示。與預測本質上是局部的特定模態目標（如單詞、視覺標記或人類語音單元）不同，Data2Vec預測包含整個輸入信息的上下文潛在表示。在語音識別、圖像分類和自然語言理解的主要基準測試上的實驗表明，該方法達到了新的技術水平或與主流方法具有競爭力。

預訓練方法

更多信息，請查看官方論文。

使用說明

有關如何微調模型的更多信息，請參閱此筆記本。

📄 許可證

本模型使用Apache-2.0許可證。

🔍 相關信息