Wavlm Base

🚀 WavLM-Base

WavLM-Base是基於16kHz採樣語音音頻預訓練的基礎模型。該模型可用於語音相關任務，使用時需確保輸入語音也為16kHz採樣。

🚀 快速開始

WavLM是由微軟開發的語音預訓練模型，基於16kHz採樣的語音音頻進行預訓練。使用該模型時，請確保輸入的語音數據同樣為16kHz採樣。

✨ 主要特性

• 預訓練基礎：在960小時的 Librispeech 數據集上進行預訓練。
• 多任務潛力：旨在解決全棧下游語音任務，包括語音識別、語音分類等。
• 技術創新：基於HuBERT框架構建，採用門控相對位置偏置改進Transformer結構，提出話語混合訓練策略提升說話人區分能力。

📚 詳細文檔

模型信息

• 模型鏈接：Microsoft's WavLM
• 論文鏈接：Paper: WavLM: Large-Scale Self-Supervised Pre-Training for Full Stack Speech Processing
• 作者：Sanyuan Chen, Chengyi Wang, Zhengyang Chen, Yu Wu, Shujie Liu, Zhuo Chen, Jinyu Li, Naoyuki Kanda, Takuya Yoshioka, Xiong Xiao, Jian Wu, Long Zhou, Shuo Ren, Yanmin Qian, Yao Qian, Jian Wu, Michael Zeng, Furu Wei

論文摘要

自監督學習（SSL）在語音識別領域取得了巨大成功，但在其他語音處理任務上的探索有限。由於語音信號包含說話人身份、副語言信息、說話內容等多方面信息，為所有語音任務學習通用表示具有挑戰性。在本文中，我們提出了一種新的預訓練模型WavLM，用於解決全棧下游語音任務。WavLM基於HuBERT框架構建，強調說話內容建模和說話人身份保留。我們首先為Transformer結構配備門控相對位置偏置，以提高其在識別任務上的能力。為了更好地進行說話人區分，我們提出了一種話語混合訓練策略，在模型訓練期間無監督地創建額外的重疊話語並納入其中。最後，我們將訓練數據集從60k小時擴展到94k小時。WavLM Large在SUPERB基準測試中取得了最先進的性能，並在各種語音處理任務的代表性基準測試中帶來了顯著改進。

使用注意事項

⚠️ 重要提示

此模型沒有分詞器，因為它僅在音頻上進行了預訓練。要將此模型用於語音識別，需要創建一個分詞器，並在帶標籤的文本數據上對模型進行微調。有關如何微調模型的詳細解釋，請查看 此博客。

⚠️ 重要提示

該模型是在音素而非字符上進行預訓練的。這意味著在微調之前，應確保輸入文本已轉換為音素序列。

模型適用範圍

這是一個英語預訓練語音模型，需要在語音識別或音頻分類等下游任務上進行微調後才能用於推理。該模型在英語上進行了預訓練，因此僅在英語任務上表現良好。該模型在 SUPERB基準測試 中表現出色。

微調示例

語音識別

要對模型進行語音識別微調，請參閱 官方語音識別示例。

語音分類

要對模型進行語音分類微調，請參閱 官方音頻分類示例。

說話人驗證

TODO

說話人分割

TODO

📄 許可證

官方許可證可在 此處 找到。

貢獻者

該模型由 cywang 和 patrickvonplaten 貢獻。