Wav2vec2 Large Xls R 1b Cv8 Mt

🚀 wav2vec2-large-xls-r-1b-cv8-mt

このモデルは、common_voiceデータセット上でfacebook/wav2vec2-xls-r-1bをファインチューニングしたバージョンです。評価セットでは以下の結果を達成しています。

• 損失: 0.2210
• 単語誤り率 (Wer): 0.1974

✨ 主な機能

このモデルは自動音声認識（Automatic Speech Recognition）タスクに特化しており、以下のデータセットで評価されています。

評価結果

• Common Voice 8:
  • Test WER: 17.57
  • Test CER: 3.86
• Robust Speech Event - Dev Data:
  • Test WER: null
  • Test CER: null

📚 ドキュメント

モデルの説明

このモデルの別バージョンとして、KenLM 3gramモデルを備えたものがあります。このバージョンはこのモデルよりも性能が良いです。詳細は https://huggingface.co/RuudVelo/wav2vec2-large-xls-r-1b-cv8-mt-lm を参照してください。

想定される使用目的と制限事項

詳細情報は後日提供予定です。

トレーニングと評価データ

詳細情報は後日提供予定です。

トレーニング手順

トレーニングハイパーパラメータ

トレーニング中に使用された設定とハイパーパラメータは以下の通りです。

model = Wav2Vec2ForCTC.from_pretrained(
    "facebook/wav2vec2-xls-r-1b", 
    attention_dropout=0.05,
    hidden_dropout=0.05,
    feat_proj_dropout=0.05,
    mask_time_prob=0.55,
    mask_feature_prob=0.10,
    layerdrop=0.05,
    ctc_zero_infinity=True,
    ctc_loss_reduction="mean", 
    pad_token_id=processor.tokenizer.pad_token_id,
    vocab_size=len(processor.tokenizer),
)

from transformers import TrainingArguments

training_args = TrainingArguments(
  output_dir=repo_name,
  group_by_length=True,
  per_device_train_batch_size=32,
  gradient_accumulation_steps=2,
  evaluation_strategy="steps",
  num_train_epochs=50,
  gradient_checkpointing=True,
  fp16=True,
  save_steps=400,
  eval_steps=400,
  logging_steps=400,
  learning_rate=5.5e-05, 
  warmup_steps=500,
  save_total_limit=2,
  push_to_hub=True, 
  report_to="tensorboard")

トレーニング結果

⚠️ 重要提示

テストのWERが19.74と、上記で報告された17.57と異なるのは、古いバージョンのdatasetsライブラリでファイルを処理している際に見つかったバグによるものです。正しいライブラリのバージョンは以下に記載されています。

フレームワークのバージョン

• Transformers 4.17.0.dev0
• Pytorch 1.10.2+cu102
• Datasets 1.18.3
• Tokenizers 0.11.0

📄 ライセンス

このモデルはApache 2.0ライセンスの下で提供されています。