Wav2vec2 Large Xls R 300m Sr V4

🚀 wav2vec2-large-xls-r-300m-sr-v4

本模型是在MOZILLA - FOUNDATION/COMMON_VOICE_8_0 - SR數據集上對facebook/wav2vec2 - xls - r - 300m進行微調後的版本。它在自動語音識別任務中表現出色，能夠有效處理語音數據，將語音準確轉換為文本。

🚀 快速開始

本模型是在MOZILLA - FOUNDATION/COMMON_VOICE_8_0 - SR數據集上對facebook/wav2vec2 - xls - r - 300m進行微調後的版本。它在評估集上取得了以下結果：

• 損失值：0.5570
• 詞錯誤率（Wer）：0.3038

💻 使用示例

基礎用法

以下是在不同數據集上進行評估的命令示例：

1. 在mozilla - foundation/common_voice_8_0的測試分割集上進行評估

python eval.py --model_id DrishtiSharma/wav2vec2-large-xls-r-300m-sr-v4 --dataset mozilla-foundation/common_voice_8_0 --config sr --split test --log_outputs

2. 在speech - recognition - community - v2/dev_data上進行評估

python eval.py --model_id DrishtiSharma/wav2vec2-large-xls-r-300m-sr-v4 --dataset speech-recognition-community-v2/dev_data --config sr --split validation --chunk_length_s 10 --stride_length_s 1

🔧 技術細節

訓練超參數

在訓練過程中使用了以下超參數：

• 學習率：0.0003
• 訓練批次大小：16
• 評估批次大小：8
• 隨機種子：42
• 梯度累積步數：2
• 總訓練批次大小：32
• 優化器：Adam（β1 = 0.9，β2 = 0.999，ε = 1e - 08）
• 學習率調度器類型：線性
• 學習率調度器熱身步數：800
• 訓練輪數：200
• 混合精度訓練：Native AMP

訓練結果

框架版本

• Transformers 4.16.2
• Pytorch 1.10.0+cu111
• Datasets 1.18.2
• Tokenizers 0.11.0

📄 許可證

本模型採用Apache - 2.0許可證。