W2V2 BERT Withlm Malayalam

🚀 W2V2-BERT-withLM-Malayalam

このモデルは、IMASC、MSC、OpenSLR Malayalam Train split、Festvox Malayalam、CV16 のデータセットで facebook/w2v-bert-2.0 をファインチューニングしたバージョンです。

検証セット OpenSLR-Test では以下の結果を達成しています。

• 損失: 0.1722
• 単語誤り率 (WER): 0.1299

トライグラム言語モデルは、kavyamanohar/ml-sentences データセットを使用して KENLM ライブラリでトレーニングされています。

📚 詳細ドキュメント

モデル情報

モデルの結果

• 作成者: Bajiyo Baiju, Kavya Manohar
• 結果:
  • タスク: 自動音声認識
    • データセット: OpenSLR Malayalam -Test (vrclc/openslr63, ml, test, ml)
      • WER: 18.23
    • データセット: Google Fleurs (google/fleurs, ml, test, ml)
      • WER: 31.92
    • データセット: Mozilla Common Voice (mozilla-foundation/common_voice_16_1, ml, test, ml)
      • WER: 49.79

トレーニングと評価データ

使用されたデータセットは以下の通りです。

• vrclc/festvox-iiith-ml
• vrclc/openslr63
• vrclc/imasc_slr
• mozilla-foundation/common_voice_17_0
• smcproject/MSC
• kavyamanohar/ml-sentences
• thennal/IMaSC

トレーニング手順

トレーニングハイパーパラメータ

トレーニング中に使用されたハイパーパラメータは以下の通りです。

• 学習率: 5e-05
• トレーニングバッチサイズ: 16
• 評価バッチサイズ: 8
• シード: 42
• 勾配蓄積ステップ: 2
• 総トレーニングバッチサイズ: 32
• オプティマイザ: Adam (betas=(0.9,0.999), epsilon=1e-08)
• 学習率スケジューラの種類: 線形
• 学習率スケジューラのウォームアップステップ: 500
• エポック数: 10
• 混合精度トレーニング: Native AMP

トレーニング結果

フレームワークバージョン

• Transformers 4.39.3
• Pytorch 2.1.1+cu121
• Datasets 2.16.1
• Tokenizers 0.15.1

📄 ライセンス

このモデルは MIT ライセンスの下で提供されています。