Wav2vec2 Large Xls R 300m Turkish Colab

🚀 wav2vec2-large-xls-r-300m-turkish-colab

このモデルは、facebook/wav2vec2-xls-r-300mをcommon_voiceデータセットでファインチューニングしたバージョンです。評価セットでは以下の結果を得ています。

• 損失値：0.3866
• 文字誤り率（Wer）：0.3363

🚀 クイックスタート

このモデルは、事前学習モデルfacebook/wav2vec2-xls-r-300mをcommon_voiceデータセットでファインチューニングして得られたもので、音声認識関連のタスクに直接使用できます。

📚 ドキュメント

学習過程

学習ハイパーパラメータ

学習過程では以下のハイパーパラメータを使用しました。

• 学習率：0.0003
• 学習バッチサイズ：16
• 評価バッチサイズ：8
• 乱数シード：42
• 勾配累積ステップ数：2
• 総学習バッチサイズ：32
• オプティマイザ：Adam（β1 = 0.9，β2 = 0.999，ε = 1e-08）
• 学習率スケジューラタイプ：線形
• 学習率スケジューラウォームアップステップ数：500
• 学習エポック数：30
• 混合精度学習：Native AMP

学習結果

フレームワークバージョン

• Transformers 4.11.3
• Pytorch 1.10.0+cu111
• Datasets 1.18.3
• Tokenizers 0.10.3

📄 ライセンス

このモデルはApache - 2.0ライセンスを採用しています。