Wav2vec2 Xls R 1b Ka

🚀 wav2vec2-xls-r-1b-ka

このモデルは、/WORKSPACE/DATA/KA/NOIZY_STUDENT_2/ - KAデータセットでfacebook/wav2vec2-xls-r-1bをファインチューニングしたバージョンです。評価セットでは以下の結果を達成しています。

• 損失: 0.1022
• 単語誤り率 (Wer): 0.1527
• 文字誤り率 (Cer): 0.0221

📚 ドキュメント

モデル情報

評価結果

このモデルは、いくつかのデータセットで評価され、以下の指標が得られています。

Common Voice ka

Robust Speech Event - Dev Data

Robust Speech Event - Test Data

🔧 技術詳細

学習ハイパーパラメータ

学習中に使用されたハイパーパラメータは以下の通りです。

• 学習率 (learning_rate): 7e-05
• 学習バッチサイズ (train_batch_size): 16
• 評価バッチサイズ (eval_batch_size): 64
• 乱数シード (seed): 42
• 勾配蓄積ステップ数 (gradient_accumulation_steps): 8
• 総学習バッチサイズ (total_train_batch_size): 128
• オプティマイザ (optimizer): Adam (betas=(0.9,0.98), epsilon=1e-08)
• 学習率スケジューラタイプ (lr_scheduler_type): cosine
• 学習率スケジューラのウォームアップ比率 (lr_scheduler_warmup_ratio): 0.1
• 学習ステップ数 (training_steps): 4000
• 混合精度学習 (mixed_precision_training): Native AMP

学習結果

フレームワークバージョン

• Transformers: 4.17.0.dev0
• Pytorch: 1.10.2
• Datasets: 1.18.4.dev0
• Tokenizers: 0.11.0

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。