Sew Tiny 100k

🚀 SEW-tiny

SEW-tiny是基於16kHz採樣語音音頻預訓練的基礎模型。該模型可解決自動語音識別、說話人識別等下游任務，為語音處理提供高效且性能出色的解決方案。

🚀 快速開始

本模型是在16kHz採樣的語音音頻上進行預訓練的基礎模型。使用該模型時，請確保您的語音輸入也是以16kHz採樣的。請注意，此模型需要在下游任務（如自動語音識別、說話人識別、意圖分類、情感識別等）上進行微調。

✨ 主要特性

• 性能與效率兼顧：論文對自動語音識別（ASR）預訓練模型的性能 - 效率權衡進行了研究，提出的SEW（Squeezed and Efficient Wav2vec）模型在多種訓練設置下，在性能和效率方面都有顯著改進。例如，在LibriSpeech的100h - 960h半監督設置下，與wav2vec 2.0相比，SEW的推理速度提高了1.9倍，字錯誤率相對降低了13.5%。在相似的推理時間下，SEW在不同模型大小上可將字錯誤率降低25 - 50%。

📚 詳細文檔

論文信息

• 標題：Performance-Efficiency Trade-offs in Unsupervised Pre-training for Speech Recognition
• 作者：Felix Wu, Kwangyoun Kim, Jing Pan, Kyu Han, Kilian Q. Weinberger, Yoav Artzi
• 摘要：本文研究了自動語音識別（ASR）預訓練模型中的性能 - 效率權衡問題。我們聚焦於wav2vec 2.0，並將影響模型性能和效率的幾種架構設計進行了形式化。綜合我們的所有觀察，我們引入了SEW（Squeezed and Efficient Wav2vec），這是一種預訓練模型架構，在各種訓練設置下，在性能和效率方面都有顯著改進。例如，在LibriSpeech的100h - 960h半監督設置下，與wav2vec 2.0相比，SEW的推理速度提高了1.9倍，字錯誤率相對降低了13.5%。在相似的推理時間下，SEW在不同模型大小上可將字錯誤率降低25 - 50%。

原模型地址

原模型可在此處找到。

💻 使用示例

有關如何微調該模型的更多信息，請參閱此博客。請注意，需要將類Wav2Vec2ForCTC替換為SEWForCTC。

📄 許可證

本項目採用Apache 2.0許可證。

📦 相關信息