Wav2vec2 Large Xlsr 129 Turkish Colab

🚀 wav2vec2-large-xlsr-129-turkish-colab

このモデルは、facebook/wav2vec2-large-xlsr-129 を common_voice データセットでファインチューニングしたバージョンです。評価セットでは、以下の結果を得ています：

• 損失値：0.3149
• 文字誤り率（Wer）：0.4748

🚀 クイックスタート

このモデルは特定のデータセットでファインチューニングされており、音声関連のタスクに使用できます。後述するトレーニングパラメータと結果を参考に、モデルの性能をさらに理解することができます。

✨ 主な機能

• 事前学習モデル facebook/wav2vec2-large-xlsr-129 をファインチューニングしているため、common_voice データセットにより適応しています。
• トレーニング中に詳細な損失値と文字誤り率（Wer）が記録されており、モデルの性能評価が容易です。

📚 ドキュメント

トレーニングプロセス

トレーニングハイパーパラメータ

トレーニングでは以下のハイパーパラメータが使用されました：

• 学習率：5e-05
• トレーニングバッチサイズ：16
• 評価バッチサイズ：8
• 乱数シード：42
• 勾配累積ステップ数：2
• 総トレーニングバッチサイズ：32
• オプティマイザ：Adam（β1 = 0.9，β2 = 0.999，ε = 1e-08）
• 学習率スケジューラタイプ：線形
• 学習率スケジューラウォームアップステップ数：500
• トレーニングエポック数：30
• 混合精度トレーニング：Native AMP

トレーニング結果

フレームワークバージョン

• Transformers 4.11.3
• Pytorch 1.10.0+cu102
• Datasets 1.13.3
• Tokenizers 0.10.3

🔧 技術詳細

このモデルは事前学習された facebook/wav2vec2-large-xlsr-129 モデルをベースに、common_voice データセットでファインチューニングされています。トレーニングでは特定のハイパーパラメータとオプティマイザを使用して、このデータセットでのモデル性能を向上させています。トレーニングと検証の損失値、文字誤り率（Wer）を記録することで、モデルのトレーニング効果と汎化能力を評価できます。