Distilhubert

🚀 DistilHuBERT

DistilHuBERT 是由臺灣大學語音處理與機器學習實驗室開發的模型，它基於 16kHz 採樣的語音音頻進行預訓練。使用該模型時，請確保輸入的語音也採用 16kHz 採樣。

🚀 快速開始

本模型是在 16kHz 採樣的語音音頻上進行預訓練的基礎模型。使用模型時，請確保您的語音輸入同樣採用 16kHz 採樣。

⚠️ 重要提示

該模型沒有分詞器，因為它僅在音頻上進行了預訓練。若要將此模型用於語音識別，則需要創建一個分詞器，並在帶標籤的文本數據上對模型進行微調。有關如何微調模型的詳細解釋，請查看此博客。

✨ 主要特性

• 輕量級設計：通過新穎的多任務學習框架直接從 HuBERT 模型中提取隱藏表示，將 HuBERT 的模型大小縮小了 75%，速度提升了 73%，同時在十個不同任務中保留了大部分性能。
• 低資源需求：DistilHuBERT 所需的訓練時間和數據較少，為語音的個人和設備端自監督學習（SSL）模型的預訓練提供了可能。

📚 詳細文檔

論文信息

• 標題：DistilHuBERT: Speech Representation Learning by Layer-wise Distillation of Hidden-unit BERT
• 作者：Heng - Jui Chang, Shu - wen Yang, Hung - yi Lee
• 摘要：像 wav2vec 2.0 和 Hidden - unit BERT (HuBERT) 這樣的自監督語音表示學習方法，利用無標籤語音數據進行預訓練，為眾多語音處理任務提供了良好的表示。儘管這些方法取得了成功，但它們需要大量內存和高昂的預訓練成本，使得學術界的研究人員和小公司難以使用。因此，本文介紹了 DistilHuBERT，這是一種新穎的多任務學習框架，可直接從 HuBERT 模型中提取隱藏表示。該方法將 HuBERT 的大小縮小了 75%，速度提高了 73%，同時在十個不同任務中保留了大部分性能。此外，DistilHuBERT 所需的訓練時間和數據很少，為語音的個人和設備端 SSL 模型的預訓練開闢了可能性。

模型使用

有關如何微調模型的更多信息，請查看此博客。請注意，需要將類 Wav2Vec2ForCTC 替換為 HubertForCTC。

模型原始地址

原始模型可在 https://github.com/s3prl/s3prl/tree/master/s3prl/upstream/distiller 找到。

📄 許可證

本模型使用的許可證為 Apache - 2.0。

📦 相關信息