Wav2vec2 Large Xls R 300m Cantonese

🚀 XLS - R - 300M - 中国香港 (広東語)

このモデルは、MOZILLA - FOUNDATION/COMMON_VOICE_8_0 - ZH - HKデータセットで微調整された[facebook/wav2vec2 - xls - r - 300m](https://huggingface.co/facebook/wav2vec2 - xls - r - 300m)のバージョンです。評価セットでは以下の結果を達成しています。

• 損失: 1.4848
• 単語誤り率 (Wer): 0.8004

🚀 クイックスタート

このモデルは、自動音声認識タスクに使用できます。MOZILLA - FOUNDATION/COMMON_VOICE_8_0 - ZH - HKデータセットで訓練されており、広東語の音声認識に特化しています。

📚 ドキュメント

モデルの概要

このモデルは、XLS - R - 300Mをベースに、MOZILLA - FOUNDATION/COMMON_VOICE_8_0 - ZH - HKデータセットで微調整された自動音声認識モデルです。

想定される用途と制限事項

詳細情報は今後の追加予定です。

訓練と評価データ

詳細情報は今後の追加予定です。

訓練手順

訓練ハイパーパラメータ

訓練中に使用されたハイパーパラメータは以下の通りです。

• 学習率 (learning_rate): 0.0003
• 訓練バッチサイズ (train_batch_size): 32
• 評価バッチサイズ (eval_batch_size): 16
• 乱数シード (seed): 42
• 勾配累積ステップ数 (gradient_accumulation_steps): 2
• 総訓練バッチサイズ (total_train_batch_size): 64
• オプティマイザ (optimizer): Adam (betas=(0.9, 0.999), epsilon = 1e - 08)
• 学習率スケジューラの種類 (lr_scheduler_type): linear
• 学習率スケジューラのウォームアップステップ数 (lr_scheduler_warmup_steps): 500
• エポック数 (num_epochs): 100.0
• 混合精度訓練 (mixed_precision_training): Native AMP

訓練結果

評価コマンド

1. mozilla - foundation/common_voice_8_0のtestスプリットで評価する場合

python eval.py --model_id ivanlau/wav2vec2-large-xls-r-300m-cantonese --dataset mozilla-foundation/common_voice_8_0 --config zh-HK --split test --log_outputs

2. speech - recognition - community - v2/dev_dataで評価する場合

python eval.py --model_id ivanlau/wav2vec2-large-xls-r-300m-cantonese --dataset speech-recognition-community-v2/dev_data --config zh-HK --split validation --chunk_length_s 5.0 --stride_length_s 1.0 --log_outputs

フレームワークバージョン

• Transformers 4.17.0.dev0
• Pytorch 1.10.2+cu102
• Datasets 1.18.3
• Tokenizers 0.11.0

📄 ライセンス

このモデルはApache 2.0ライセンスの下で提供されています。

🔍 モデルの詳細情報

🔍 モデルの評価結果

このモデルは、いくつかのデータセットで評価され、以下の結果を得ています。

• Common Voice 8 (zh - hk)
  • 単語誤り率 (Test WER): 0.8111349803079126
  • 文字誤り率 (Test CER): 0.21962250882996914
• Robust Speech Event - Dev Data (zh - hk)
  • 単語誤り率 (Test WER): 1.0
  • 文字誤り率 (Test CER): 0.6160564326503191
• Common Voice 8 (zh - HK) with LM
  • 単語誤り率 (Test WER with LM): 0.8055853920515574
  • 文字誤り率 (Test CER with LM): 0.21578686612008757
• Robust Speech Event - Dev Data (zh - HK) with LM
  • 単語誤り率 (Test WER with LM): 1.0012453300124533
  • 文字誤り率 (Test CER with LM): 0.6153006382264025
• Robust Speech Event - Test Data (zh - HK)
  • 文字誤り率 (Test CER): 61.55