W2v Bert 2.0 Naijavoices Clearglobal Hausa 500hr V0

🚀 w2v-bert-2.0-naijavoices-clearglobal-hausa-500hr-v0

このモデルは、facebook/w2v-bert-2.0 をNoneデータセットでファインチューニングしたバージョンです。評価セットでは以下の結果を達成しています。

• 損失: 0.1944
• 単語誤り率 (Wer): 0.0747
• 文字誤り率 (Cer): 0.0186

🚀 クイックスタート

このモデルは、特定のタスクに対してファインチューニングされたバージョンです。使用する際には、適切なデータセットやハイパーパラメータを設定する必要があります。

🔧 技術詳細

学習ハイパーパラメータ

学習中に使用されたハイパーパラメータは以下の通りです。

• 学習率 (learning_rate): 9e-05
• 学習バッチサイズ (train_batch_size): 64
• 評価バッチサイズ (eval_batch_size): 32
• 乱数シード (seed): 42
• 勾配累積ステップ数 (gradient_accumulation_steps): 2
• 総学習バッチサイズ (total_train_batch_size): 128
• オプティマイザ (optimizer): betas=(0.9,0.999) かつ epsilon=1e-08 の adamw_torch を使用。追加のオプティマイザ引数はありません (optimizer_args=No additional optimizer arguments)
• 学習率スケジューラの種類 (lr_scheduler_type): linear
• 学習率スケジューラのウォームアップ率 (lr_scheduler_warmup_ratio): 0.025
• エポック数 (num_epochs): 100.0
• 混合精度学習 (mixed_precision_training): Native AMP

学習結果

フレームワークのバージョン

• Transformers 4.50.3
• Pytorch 2.6.0+cu124
• Datasets 3.5.0
• Tokenizers 0.21.1

📄 ライセンス

このモデルはMITライセンスの下で提供されています。