🚀 Tahsin-Mayeesha/wav2vec2-bn-300m

本模型是基於OPENSLR_SLR53 - 孟加拉語數據集對facebook/wav2vec2-xls-r-300m進行微調後的版本。它在自動語音識別任務中表現出色，為相關領域的研究和應用提供了有力支持。

✨ 主要特性

• 多語言支持：支持孟加拉語（bn）的自動語音識別。
• 高性能表現：在評估集上取得了良好的WER（詞錯誤率）和CER（字符錯誤率）指標。
• 可擴展性：基於預訓練模型微調，可根據不同需求進一步優化。

📦 安裝指南

文檔未提供安裝步驟，故跳過此章節。

💻 使用示例

文檔未提供代碼示例，故跳過此章節。

📚 詳細文檔

評估結果

該模型在評估集上取得了以下結果：

• 無語言模型：
  • WER：0.3110
  • CER：0.072
• 使用基於indic-text數據集訓練的5-gram語言模型：
  • WER：0.17776
  • CER：0.04394

訓練細節

• 總共218703個樣本中的10%（即21871個樣本）用於評估。
• 訓練在30k步後停止。
• 輸出預測結果可在文件部分查看。

訓練超參數

訓練過程中使用了以下超參數：

框架版本

• Transformers 4.16.0.dev0
• Pytorch 1.10.1+cu102
• Datasets 1.17.1.dev0
• Tokenizers 0.11.0

注意事項

• 訓練和評估腳本修改自https://huggingface.co/chmanoj/xls-r-300m-te 和https://github.com/huggingface/transformers/tree/master/examples/research_projects/robust-speech-event 。
• 由於Common Voice或LibriSpeech多語言數據集中沒有孟加拉語語音數據，因此使用了OpenSLR53數據集。
• 使用最小音頻時長0.1s過濾訓練數據，可能排除了10 - 20個樣本。

🔧 技術細節

本模型基於facebook/wav2vec2-xls-r-300m進行微調，在OPENSLR_SLR53 - 孟加拉語數據集上進行訓練。通過調整超參數和使用特定的訓練策略，模型在自動語音識別任務中取得了較好的性能。在評估過程中，分別測試了有無語言模型的情況，結果顯示使用語言模型可以顯著降低WER和CER。

📄 許可證

本模型使用Apache-2.0許可證。

引用

@misc {tahsin_mayeesha_2023,
	author       = { {Tahsin Mayeesha} },
	title        = { wav2vec2-bn-300m (Revision e10defc) },
	year         = 2023,
	url          = { https://huggingface.co/Tahsin-Mayeesha/wav2vec2-bn-300m },
	doi          = { 10.57967/hf/0939 },
	publisher    = { Hugging Face }
}