W2V2 BERT Withlm Malayalam

🚀 W2V2-BERT-withLM-Malayalam

該模型是在 IMASC、MSC、OpenSLR Malayalam Train split、Festvox Malayalam、CV16 上對 facebook/w2v-bert-2.0 進行微調後的版本。它在語音識別任務中表現出色，為馬拉雅拉姆語的語音處理提供了有效的解決方案。

🚀 快速開始

此模型是一個經過微調的版本，基於 facebook/w2v-bert-2.0 在多個數據集上進行訓練。它在驗證集 OpenSLR-Test 上取得了以下結果：

• 損失值: 0.1722
• 字錯率 (Wer): 0.1299

此外，還使用 KENLM 庫在 kavyamanohar/ml-sentences 數據集上訓練了三元語言模型。

📚 詳細文檔

模型信息

模型表現

由 Bajiyo Baiju 和 Kavya Manohar 開發的 W2V2-BERT-withLM-Malayalam 模型在多個數據集上進行了評估，結果如下：

訓練和評估數據

訓練和評估使用了以下數據集：

• vrclc/festvox-iiith-ml
• vrclc/openslr63
• vrclc/imasc_slr
• mozilla-foundation/common_voice_17_0
• smcproject/MSC
• kavyamanohar/ml-sentences
• thennal/IMaSC

訓練過程

訓練超參數

在訓練過程中使用了以下超參數：

• 學習率: 5e-05
• 訓練批次大小: 16
• 評估批次大小: 8
• 隨機種子: 42
• 梯度累積步數: 2
• 總訓練批次大小: 32
• 優化器: Adam（β1 = 0.9，β2 = 0.999，ε = 1e-08）
• 學習率調度器類型: 線性
• 學習率調度器熱身步數: 500
• 訓練輪數: 10
• 混合精度訓練: 原生自動混合精度 (Native AMP)

訓練結果

框架版本

• Transformers 4.39.3
• Pytorch 2.1.1+cu121
• Datasets 2.16.1
• Tokenizers 0.15.1

📄 許可證

本模型使用 MIT 許可證。