Wav2vec2 Xls R 1b Ka

🚀 wav2vec2-xls-r-1b-ka

本模型是基於自動語音識別技術的模型，它在特定數據集上對 facebook/wav2vec2-xls-r-1b 進行微調，在評估集上取得了較好的結果，可用於語音識別相關任務。

📄 許可證

本項目採用 Apache-2.0 許可證。

📋 模型信息

📊 模型評估結果

1. Common Voice ka 數據集

2. Robust Speech Event - Dev Data 數據集

3. Robust Speech Event - Test Data 數據集

模型在評估集的結果

• Loss: 0.1022
• Wer: 0.1527
• Cer: 0.0221

🔧 訓練過程

訓練超參數

• 學習率（learning_rate）: 7e-05
• 訓練批次大小（train_batch_size）: 16
• 評估批次大小（eval_batch_size）: 64
• 隨機種子（seed）: 42
• 梯度累積步數（gradient_accumulation_steps）: 8
• 總訓練批次大小（total_train_batch_size）: 128
• 優化器（optimizer）: Adam（betas=(0.9,0.98)，epsilon=1e-08）
• 學習率調度器類型（lr_scheduler_type）: cosine
• 學習率調度器熱身比例（lr_scheduler_warmup_ratio）: 0.1
• 訓練步數（training_steps）: 4000
• 混合精度訓練（mixed_precision_training）: Native AMP

訓練結果

框架版本

• Transformers 4.17.0.dev0
• Pytorch 1.10.2
• Datasets 1.18.4.dev0
• Tokenizers 0.11.0