Wav2vec2 Large Xls R 300m Romansh Sursilvan

🚀 wav2vec2-large-xls-r-300m-romansh-sursilvan

このモデルは、facebook/wav2vec2-xls-r-300m をMOZILLA - FOUNDATION/COMMON_VOICE_7_0 - RM - SURSILVデータセットでファインチューニングしたバージョンです。評価セットでは以下の成績を達成しています：

• 損失値：0.2163
• 単語誤り率（Wer）：0.1981

🚀 クイックスタート

このモデルは、自動音声認識タスクに使用できます。MOZILLA - FOUNDATION/COMMON_VOICE_7_0 - RM - SURSILVデータセットを用いてファインチューニングされています。

✨ 主な機能

• 自動音声認識タスクをサポートします。
• MOZILLA - FOUNDATION/COMMON_VOICE_7_0 - RM - SURSILVデータセットを基にファインチューニングされています。

📚 ドキュメント

モデル情報

評価結果

このモデルは、Common Voice 7データセット（タイプ：mozilla - foundation/common_voice_7_0，パラメータ：rm - sursilv）で評価され、以下の結果が得られました：

• テスト単語誤り率（Test WER）：19.816
• テスト文字誤り率（Test CER）：4.153

訓練過程

訓練ハイパーパラメータ

訓練時には以下のハイパーパラメータが使用されました：

• 学習率（learning_rate）：7e - 05
• 訓練バッチサイズ（train_batch_size）：32
• 評価バッチサイズ（eval_batch_size）：1
• 乱数シード（seed）：42
• オプティマイザ（optimizer）：Adam（β1 = 0.9，β2 = 0.999，ε = 1e - 08）
• 学習率スケジューラタイプ（lr_scheduler_type）：線形
• 学習率スケジューラウォームアップステップ数（lr_scheduler_warmup_steps）：2000
• 訓練エポック数（num_epochs）：120.0
• 混合精度訓練（mixed_precision_training）：Native AMP

訓練結果

フレームワークバージョン

• Transformers：4.16.0.dev0
• Pytorch：1.10.1 + cu102
• Datasets：1.17.1.dev0
• Tokenizers：0.11.0

📄 ライセンス

このモデルは、Apache - 2.0ライセンスの下で提供されています。