Wav2vec2 Large Xls R 1b Cv8 Mt

🚀 wav2vec2-large-xls-r-1b-cv8-mt

本模型是一個基於 facebook/wav2vec2-xls-r-1b 在 common_voice 數據集上微調的版本。它能解決自動語音識別的問題，在評估集上有較好的表現，為語音識別任務提供了有效的解決方案。

🚀 快速開始

本模型是 facebook/wav2vec2-xls-r-1b 在 common_voice 數據集上的微調版本，在評估集上取得了以下結果：

• 損失值：0.2210
• 詞錯誤率（Wer）：0.1974

✨ 主要特性

• 多任務支持：適用於自動語音識別任務。
• 數據集適配：基於 mozilla-foundation/common_voice_8_0 數據集訓練。
• 評估指標良好：在測試集上有一定的詞錯誤率（WER）和字符錯誤率（CER）表現。

📦 詳細文檔

模型描述

注意：此模型還有一個搭配 KenLM 3gram 模型的版本，該版本表現更優。詳情見 https://huggingface.co/RuudVelo/wav2vec2-large-xls-r-1b-cv8-mt-lm

預期用途與限制

更多信息待補充。

訓練和評估數據

更多信息待補充。

訓練過程

訓練超參數

訓練期間使用了以下配置和超參數：

model = Wav2Vec2ForCTC.from_pretrained(
    "facebook/wav2vec2-xls-r-1b", 
    attention_dropout=0.05,
    hidden_dropout=0.05,
    feat_proj_dropout=0.05,
    mask_time_prob=0.55,
    mask_feature_prob=0.10,
    layerdrop=0.05,
    ctc_zero_infinity=True,
    ctc_loss_reduction="mean", 
    pad_token_id=processor.tokenizer.pad_token_id,
    vocab_size=len(processor.tokenizer),
)

from transformers import TrainingArguments

training_args = TrainingArguments(
  output_dir=repo_name,
  group_by_length=True,
  per_device_train_batch_size=32,
  gradient_accumulation_steps=2,
  evaluation_strategy="steps",
  num_train_epochs=50,
  gradient_checkpointing=True,
  fp16=True,
  save_steps=400,
  eval_steps=400,
  logging_steps=400,
  learning_rate=5.5e-05, 
  warmup_steps=500,
  save_total_limit=2,
  push_to_hub=True, 
  report_to="tensorboard")

訓練結果

請注意，測試詞錯誤率（WER）為 19.74%，與上述報告的 17.57% 不同。這是由於在使用舊版本的數據集庫處理文件時發現了一個錯誤。正確的庫版本如下。

框架版本

• Transformers 4.17.0.dev0
• Pytorch 1.10.2+cu102
• Datasets 1.18.3
• Tokenizers 0.11.0

📄 許可證

本模型採用 Apache-2.0 許可證。

📋 模型信息表格