Hubert Large Ll60k

🚀 Hubert-Large

Hubert-Large是一個在16kHz採樣語音音頻上預訓練的大型模型。該模型能夠助力語音相關的研究與應用，為語音識別等任務提供有力支持。

🚀 快速開始

本模型是在16kHz採樣的語音音頻上進行預訓練的。在使用模型時，請確保您的語音輸入也是以16kHz採樣的。

⚠️ 重要提示

此模型沒有分詞器，因為它僅在音頻上進行了預訓練。若要將此模型用於語音識別，則需要創建一個分詞器，並在帶標籤的文本數據上對模型進行微調。有關如何微調模型的詳細解釋，請查看此博客。

✨ 主要特性

• 基於Facebook的Hubert架構，在語音表示學習方面具有獨特優勢。
• 模型在Libri-Light數據集上進行預訓練，具備良好的泛化能力。

📚 詳細文檔

論文信息

• 論文鏈接：Paper
• 作者：Wei-Ning Hsu, Benjamin Bolte, Yao-Hung Hubert Tsai, Kushal Lakhotia, Ruslan Salakhutdinov, Abdelrahman Mohamed

摘要

語音表示學習的自監督方法面臨三個獨特的問題：（1）每個輸入話語中有多個聲音單元；（2）在預訓練階段沒有輸入聲音單元的詞典；（3）聲音單元的長度可變，且沒有明確的分割。為了解決這三個問題，我們提出了用於自監督語音表示學習的Hidden-Unit BERT（HuBERT）方法，該方法利用離線聚類步驟為類似BERT的預測損失提供對齊的目標標籤。我們方法的一個關鍵要素是僅在掩碼區域上應用預測損失，這迫使模型在連續輸入上學習組合的聲學和語言模型。HuBERT主要依賴於無監督聚類步驟的一致性，而不是分配的聚類標籤的內在質量。從一個簡單的100個聚類的k-means教師開始，並使用兩輪聚類，HuBERT模型在Librispeech（960h）和Libri-light（60,000h）基準測試的10分鐘、1小時、10小時、100小時和960小時微調子集上，要麼與最先進的wav2vec 2.0性能相匹配，要麼有所提升。使用一個10億參數的模型，HuBERT在更具挑戰性的dev-other和test-other評估子集上顯示出高達19%和13%的相對字錯率（WER）降低。

模型原始代碼

原始模型可在https://github.com/pytorch/fairseq/tree/master/examples/hubert 找到。

💻 使用示例

有關如何微調模型的更多信息，請參閱此博客。請注意，需要將類Wav2Vec2ForCTC替換為HubertForCTC。

📄 許可證

本模型使用的許可證為Apache-2.0。

📦 模型信息