Sew D Tiny 100k

🚀 SEW-D-tiny

SEW-D-tiny 是基於 16kHz 採樣語音音頻預訓練的基礎模型。該模型可用於多種語音相關下游任務，如自動語音識別、說話人識別、意圖分類、情感識別等。使用時需確保輸入語音也為 16kHz 採樣。

🚀 快速開始

本模型是在 16kHz 採樣的語音音頻上進行預訓練的基礎模型。使用該模型時，請確保您的語音輸入同樣採用 16kHz 採樣。請注意，此模型需要在下游任務（如自動語音識別、說話人識別、意圖分類、情感識別等）上進行微調。

✨ 主要特性

• 高效性能：論文中提到，在 LibriSpeech 的 100h - 960h 半監督設置下，與 wav2vec 2.0 相比，SEW 實現了 1.9 倍的推理加速，字錯誤率相對降低了 13.5%。在相似的推理時間下，SEW 在不同模型大小上可將字錯誤率降低 25 - 50%。
• 可擴展性：適用於多種語音相關的下游任務。

📚 詳細文檔

論文信息

• 論文標題：Performance-Efficiency Trade-offs in Unsupervised Pre-training for Speech Recognition
• 作者：Felix Wu, Kwangyoun Kim, Jing Pan, Kyu Han, Kilian Q. Weinberger, Yoav Artzi
• 摘要：本文研究了用於自動語音識別（ASR）的預訓練模型中的性能 - 效率權衡問題。我們專注於 wav2vec 2.0，並形式化了幾種影響模型性能和效率的架構設計。綜合我們的所有觀察結果，我們引入了 SEW（Squeezed and Efficient Wav2vec），這是一種預訓練模型架構，在各種訓練設置下，在性能和效率方面都有顯著改進。例如，在 LibriSpeech 的 100h - 960h 半監督設置下，與 wav2vec 2.0 相比，SEW 實現了 1.9 倍的推理加速，字錯誤率相對降低了 13.5%。在相似的推理時間下，SEW 在不同模型大小上可將字錯誤率降低 25 - 50%。

模型來源

原始模型可在 https://github.com/asappresearch/sew#model-checkpoints 找到。

使用說明

有關如何微調該模型的更多信息，請參閱 此博客。請注意，需要將類 Wav2Vec2ForCTC 替換為 SEWDForCTC。

📄 許可證

本項目採用 Apache-2.0 許可證。