Xls R 1b Cv 8 Fr

🚀 XLS-R-1B - フランス語

このモデルは、自動音声認識タスクに特化したモデルで、MOZILLA-FOUNDATION/COMMON_VOICE_8_0 - FRデータセットで微調整されています。

🚀 クイックスタート

このモデルは、自動音声認識のために微調整されたモデルです。以下のセクションで、モデルの詳細、学習手順、評価結果などを紹介します。

✨ 主な機能

• 自動音声認識タスクに対応
• MOZILLA-FOUNDATION/COMMON_VOICE_8_0 - FRデータセットで微調整

📚 ドキュメント

モデルの説明

このモデルは、facebook/wav2vec2-xls-r-1b をMOZILLA-FOUNDATION/COMMON_VOICE_8_0 - FRデータセットで微調整したバージョンです。

学習手順

学習ハイパーパラメータ

学習中に使用されたハイパーパラメータは以下の通りです。

• learning_rate: 7.5e-05
• train_batch_size: 16
• eval_batch_size: 16
• seed: 42
• gradient_accumulation_steps: 8
• total_train_batch_size: 128
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 2000
• num_epochs: 6.0
• mixed_precision_training: Native AMP

学習結果

ステップ13000で検証セットにおいて最良の結果を達成しました。

• 単語誤り率 (Wer): 0.1834

検証損失の計算中にいくつかの問題が発生しました。

フレームワークのバージョン

• Transformers 4.17.0.dev0
• Pytorch 1.10.2+cu102
• Datasets 1.18.3.dev0
• Tokenizers 0.11.0

評価コマンド

1. mozilla-foundation/common_voice_8 の test スプリットで評価する場合

python eval.py --model_id Plim/xls-r-1b-cv_8-fr --dataset mozilla-foundation/common_voice_8_0 --config fr --split test

2. speech-recognition-community-v2/dev_data で評価する場合

python eval.py --model_id Plim/xls-r-1b-cv_8-fr --dataset speech-recognition-community-v2/dev_data --config fr --split validation --chunk_length_s 5.0 --stride_length_s 1.0

評価結果

言語モデル (LM) なしの場合:

言語モデル (LM) ありの場合:

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。