Wav2vec2 Xls R 300m Korean Lm

🚀 Wav2Vec2 XLS-R 300M Korean LM

Wav2Vec2 XLS-R 300M Korean LMは、XLS-Rアーキテクチャに基づく自動音声認識モデルです。このモデルは、Wav2Vec2-XLS-R-300MをZeroth Koreanデータセットでファインチューニングしたものです。その後、Open Subtitlesの韓国語サブセットで学習させた5-gram言語モデルが追加されました。

このモデルは、HuggingFaceのPyTorchフレームワークを使用して学習され、HuggingFaceが主催するRobust Speech Challenge Eventの一部として開発されました。すべての学習は、OVHが提供するTesla V100で行われました。

学習に使用されたすべての必要なスクリプトは、Files and versionsタブにあり、Tensorboardを介して記録されたTraining metricsも参照できます。

N-gram言語モデルの学習については、HuggingFaceが提供するblog post tutorialに従いました。

✨ 主な機能

このモデルは韓国語の自動音声認識に特化しており、XLS-Rアーキテクチャと言語モデルを組み合わせることで高精度な音声認識を実現します。

📚 ドキュメント

モデル情報

評価結果

言語モデルを使用しない場合の評価結果は次の通りです。

言語モデルを追加した場合の評価結果は次の通りです。

学習手順

学習プロセスには言語モデルの追加は含まれていません。以下の結果は、元の自動音声認識モデル学習から引用されたものです。

学習ハイパーパラメータ

学習中に使用されたハイパーパラメータは次の通りです。

• learning_rate: 7.5e-05
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• gradient_accumulation_steps: 4
• total_train_batch_size: 32
• optimizer: Adam (betas=(0.9, 0.999)、epsilon=1e-08)
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 2000
• num_epochs: 50.0
• mixed_precision_training: Native AMP

学習結果

免責事項

このモデルの結果には、事前学習データセットに由来するバイアスが含まれている可能性があることを考慮してください。

作成者

Wav2Vec2 XLS-R 300M Korean LMは、Wilson Wongsoによって学習および評価されました。すべての計算と開発は、OVH Cloud上で行われました。

フレームワークバージョン

• Transformers 4.17.0.dev0
• Pytorch 1.10.2+cu102
• Datasets 1.18.2.dev0
• Tokenizers 0.10.3

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。