Hubert Base Ls960

🚀 Hubert-Base

Hubert-Base是在16kHz採樣的語音音頻上進行預訓練的基礎模型。該模型能助力語音相關任務，不過使用時需確保輸入語音也為16kHz採樣。

🚀 快速開始

本模型是在16kHz採樣的語音音頻上預訓練的基礎模型。使用該模型時，請確保您的語音輸入同樣採樣為16kHz。

注意：此模型沒有分詞器，因為它僅在音頻上進行了預訓練。若要將此模型用於語音識別，則需要創建一個分詞器，並在帶標籤的文本數據上對模型進行微調。有關如何微調模型的詳細解釋，請查看此博客。

✨ 主要特性

• 預訓練基礎：基於16kHz採樣的語音音頻進行預訓練。
• 解決語音學習難題：針對語音表示學習中的三個獨特問題（輸入話語中有多個聲音單元、預訓練階段沒有輸入聲音單元的詞典、聲音單元長度可變且無明確分割），提出了Hidden - Unit BERT（HuBERT）方法，利用離線聚類步驟為類似BERT的預測損失提供對齊的目標標籤。
• 性能表現出色：從簡單的100個聚類的k - means教師開始，經過兩次聚類迭代，HuBERT模型在Librispeech（960h）和Libri - light（60,000h）基準測試的10分鐘、1小時、10小時、100小時和960小時微調子集上，與最先進的wav2vec 2.0性能相當或更優。使用10億參數模型時，在更具挑戰性的dev - other和test - other評估子集上，相對字錯率（WER）最多可降低19%和13%。

📚 詳細文檔

模型相關鏈接

• Facebook的Hubert介紹
• 論文
• 原模型地址：https://github.com/pytorch/fairseq/tree/master/examples/hubert

論文信息

• 作者：Wei - Ning Hsu, Benjamin Bolte, Yao - Hung Hubert Tsai, Kushal Lakhotia, Ruslan Salakhutdinov, Abdelrahman Mohamed
• 摘要：語音表示學習的自監督方法面臨三個獨特問題：（1）每個輸入話語中有多個聲音單元；（2）預訓練階段沒有輸入聲音單元的詞典；（3）聲音單元長度可變且無明確分割。為解決這三個問題，我們提出了用於自監督語音表示學習的Hidden - Unit BERT（HuBERT）方法，該方法利用離線聚類步驟為類似BERT的預測損失提供對齊的目標標籤。我們方法的一個關鍵要素是僅在掩碼區域應用預測損失，這迫使模型在連續輸入上學習一個組合的聲學和語言模型。HuBERT主要依賴於無監督聚類步驟的一致性，而不是分配的聚類標籤的內在質量。從簡單的100個聚類的k - means教師開始，並使用兩次聚類迭代，HuBERT模型在Librispeech（960h）和Libri - light（60,000h）基準測試的10分鐘、1小時、10小時、100小時和960小時微調子集上，與最先進的wav2vec 2.0性能相當或更優。使用10億參數模型時，HuBERT在更具挑戰性的dev - other和test - other評估子集上，相對字錯率（WER）最多可降低19%和13%。

使用說明

有關如何微調模型的更多信息，請查看此博客。請注意，需要將類Wav2Vec2ForCTC替換為HubertForCTC。

📄 許可證

本模型使用的許可證為apache - 2.0。

🔍 信息表格