Wav2vec2 Xls R 1b Ca Lm

🚀 wav2vec2-xls-r-1b-ca-lm

本模型是 facebook/wav2vec2-xls-r-300m 在 MOZILLA-FOUNDATION/COMMON_VOICE_8_0 - CA、tv3_parla 和 parlament_parla 數據集上的微調版本，可用於自動語音識別任務。

✨ 主要特性

• 基於預訓練模型 facebook/wav2vec2-xls-r-300m 進行微調，在多個加泰羅尼亞語語音數據集上進行訓練和評估。
• 對訓練數據進行預處理，去除非加泰羅尼亞字母的字符，並對數字進行語音化處理。
• 提供了詳細的訓練超參數和框架版本信息。

📦 安裝指南

文檔未提供具體安裝步驟，故跳過該章節。

💻 使用示例

文檔未提供代碼示例，故跳過該章節。

📚 詳細文檔

模型描述

請查看原始的 facebook/wav2vec2-xls-r-1b 模型卡片。此模型僅是該模型的微調版本。

預期用途和侷限性

與任何基於眾包數據訓練的模型一樣，該模型可能會體現出用於訓練的數據和模型的偏差與特性。此外，由於這是一個語音識別模型，對於加泰羅尼亞語中一些資源較少的方言，其性能可能會有所下降。

訓練和評估數據

訓練過程

對數據進行預處理，去除非加泰羅尼亞字母的字符。此外，使用 @ccoreilly 提供的代碼對數字進行語音化處理，該代碼可在 text/ 文件夾中找到，也可點擊 此處 查看。

訓練結果

可查看 Tensorboard 標籤頁，以查看訓練過程中的訓練曲線和評估結果。該模型在訓練過程中使用的每個數據集的測試分割上進行了評估。

訓練超參數

訓練過程中使用了以下超參數：

• 學習率（learning_rate）：2e-05
• 訓練批次大小（train_batch_size）：8
• 評估批次大小（eval_batch_size）：8
• 隨機種子（seed）：42
• 梯度累積步數（gradient_accumulation_steps）：8
• 總訓練批次大小（total_train_batch_size）：64
• 優化器（optimizer）：Adam，β1=0.9，β2=0.999，ε=1e-08
• 學習率調度器類型（lr_scheduler_type）：線性
• 學習率調度器熱身步數（lr_scheduler_warmup_steps）：2000
• 訓練輪數（num_epochs）：10.0
• 混合精度訓練（mixed_precision_training）：Native AMP

框架版本

• Transformers：4.17.0.dev0
• Pytorch：1.10.2+cu102
• Datasets：1.18.3
• Tokenizers：0.11.0

📄 許可證

本模型使用 Apache-2.0 許可證。

🔧 技術細節

模型指標

致謝

感謝 @ccoreilly 和 @gullabi 貢獻他們的資源和知識，使得該模型得以實現。