Wav2vec2 Xls R 300m Korean

🚀 Wav2Vec2 XLS - R 300M Korean

Wav2Vec2 XLS - R 300M Koreanは、XLS - Rアーキテクチャに基づく自動音声認識モデルです。このモデルは、[Wav2Vec2 - XLS - R - 300M](https://huggingface.co/facebook/wav2vec2 - xls - r - 300m)をZeroth Koreanデータセットでファインチューニングしたバージョンです。

🚀 クイックスタート

このモデルは、HuggingFaceのPyTorchフレームワークを使用してトレーニングされ、HuggingFaceが主催する[Robust Speech Challenge Event](https://discuss.huggingface.co/t/open - to - the - community - robust - speech - recognition - challenge/13614)の一部です。すべてのトレーニングは、OVHが後援するTesla V100で行われました。トレーニングに使用されたすべての必要なスクリプトは、[Files and versions](https://huggingface.co/w11wo/wav2vec2 - xls - r - 300m - korean/tree/main)タブに、またTensorboardを介して記録された[Training metrics](https://huggingface.co/w11wo/wav2vec2 - xls - r - 300m - korean/tensorboard)に見ることができます。

✨ 主な機能

• 自動音声認識タスクに特化したモデルです。
• XLS - Rアーキテクチャをベースに構築されています。
• Zeroth Koreanデータセットでファインチューニングされています。

📚 ドキュメント

モデル情報

評価結果

このモデルは、評価で以下の結果を達成しています。

トレーニング手順

トレーニングハイパーパラメータ

トレーニング中に以下のハイパーパラメータが使用されました。

• learning_rate: 7.5e - 05
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• gradient_accumulation_steps: 4
• total_train_batch_size: 32
• optimizer: Adam (betas=(0.9, 0.999)、epsilon = 1e - 08)
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 2000
• num_epochs: 50.0
• mixed_precision_training: Native AMP

トレーニング結果

免責事項

このモデルの結果に、事前学習データセットに由来するバイアスが反映されている可能性があることを考慮してください。

作成者

Wav2Vec2 XLS - R 300M Koreanは、Wilson Wongsoによってトレーニングおよび評価されました。すべての計算と開発は、OVH Cloudで行われています。

フレームワークバージョン

• Transformers 4.17.0.dev0
• Pytorch 1.10.2+cu102
• Datasets 1.18.2.dev0
• Tokenizers 0.10.3

📄 ライセンス

このモデルは、Apache 2.0ライセンスの下で提供されています。