Whisper Large V2 Pl V2

🚀 Whisper Large v2 PL

本模型是基於 bardsai/whisper-large-v2-pl 在 Common Voice 11.0 和 FLEURS 數據集上進行微調的版本。它在評估集上取得了以下成果：

• 損失率：0.3684
• 字錯率（Wer）：7.2802

✨ 主要特性

• 基於 Whisper Large v2 進行微調，在波蘭語語音識別任務上表現出色。
• 在多個公開數據集上進行了評估，具有良好的泛化能力。

📚 詳細文檔

模型信息

評估結果

模型在不同數據集上的評估結果如下：

Common Voice 11.0

• 任務類型：自動語音識別
• 評估指標：
  • 損失率：0.3684
  • 字錯率（Wer）：7.2802
  • 未歸一化字錯率（WER unnormalized）：20.18
  • 字符錯誤率（CER）：2.08
  • 匹配錯誤率（MER）：7.27

facebook/voxpopuli

• 任務類型：自動語音識別
• 評估指標：
  • 字錯率（Wer）：9.61
  • 未歸一化字錯率（WER unnormalized）：30.33
  • 字符錯誤率（CER）：5.5
  • 匹配錯誤率（MER）：9.45

google/fleurs

• 任務類型：自動語音識別
• 評估指標：
  • 字錯率（Wer）：8.68
  • 未歸一化字錯率（WER unnormalized）：29.33
  • 字符錯誤率（CER）：3.63
  • 匹配錯誤率（MER）：8.62

🔧 技術細節

訓練過程

訓練超參數

訓練過程中使用了以下超參數：

• 學習率（learning_rate）：1e-05
• 訓練批次大小（train_batch_size）：8
• 評估批次大小（eval_batch_size）：4
• 隨機種子（seed）：42
• 梯度累積步數（gradient_accumulation_steps）：8
• 總訓練批次大小（total_train_batch_size）：64
• 優化器（optimizer）：Adam（betas=(0.9,0.999)，epsilon=1e-08）
• 學習率調度器類型（lr_scheduler_type）：線性
• 學習率調度器熱身步數（lr_scheduler_warmup_steps）：500
• 訓練步數（training_steps）：2100
• 混合精度訓練（mixed_precision_training）：Native AMP

訓練結果

框架版本

• Transformers 4.26.0.dev0
• Pytorch 1.13.0+cu117
• Datasets 2.7.1.dev0
• Tokenizers 0.13.2