Wav2vec2 Large Xls R 300m Ia

🚀 wav2vec2-large-xls-r-300m-ia

該模型是在通用語音（Common Voice）數據集上對 facebook/wav2vec2-xls-r-300m 進行微調後的版本。它在自動語音識別任務中表現出色，能夠有效處理相關語音數據，為語音識別領域提供了有力的支持。

🚀 快速開始

此模型是在通用語音數據集上對 facebook/wav2vec2-xls-r-300m 進行微調的版本。它在評估集上取得了以下結果：

• 損失（Loss）：0.1452
• 字錯誤率（Wer）：0.1253

✨ 主要特性

• 微調模型：基於 facebook/wav2vec2-xls-r-300m 進行微調，更適配通用語音數據集。
• 多指標評估：使用損失、字錯誤率（Wer）、字符錯誤率（CER）等多種指標進行評估，全面衡量模型性能。

📚 詳細文檔

訓練過程

訓練在 Google Colab 中進行，訓練筆記本可在倉庫中找到。

訓練和評估數據

語言模型是根據數據集（國際語的通用語音 8.0）的訓練 + 驗證分割中的處理後句子文本創建的。評估在筆記本中進行，你可以在倉庫中的 "notebook_evaluation_wav2vec2_ia.ipynb" 裡查看。

評估指標

• 不使用語言模型（LM）的測試字錯誤率（WER）：20.1776 %
• 不使用語言模型（LM）的測試字符錯誤率（CER）：4.7205 %
• 使用語言模型（LM）的測試字錯誤率（WER）：8.6074 %
• 使用語言模型（LM）的測試字符錯誤率（CER）：2.4147 %

評估命令

使用 eval.py 進行評估：

huggingface-cli login # 登錄到 huggingface 獲取訪問通用語音 v8 的認證令牌
# 使用語言模型（LM）運行
python eval.py --model_id ayameRushia/wav2vec2-large-xls-r-300m-ia --dataset mozilla-foundation/common_voice_8_0 --config ia --split test

# 不使用語言模型（LM）運行
python eval.py --model_id ayameRushia/wav2vec2-large-xls-r-300m-ia --dataset mozilla-foundation/common_voice_8_0 --config ia --split test --greedy

訓練超參數

訓練過程中使用了以下超參數：

訓練結果

框架版本

• Transformers 4.17.0.dev0
• Pytorch 1.10.0+cu111
• Datasets 1.18.3
• Tokenizers 0.11.0

📄 許可證

本項目採用 Apache-2.0 許可證。