Wav2vec2 Ksponspeech

🚀 wav2vec2-ksponspeech

本模型是 Wav2vec2-large-xlsr-53 在無指定數據集上的微調版本。它在評估集上取得了如下結果，能夠有效助力語音識別相關任務，提升識別的準確性和效率。

🚀 快速開始

此模型可直接應用於韓語語音識別任務，通過加載預訓練權重，結合相應的推理代碼即可開展工作。

✨ 主要特性

• 微調優化：基於Wav2vec2-large-xlsr-53進行微調，更適配特定任務。
• 評估指標出色：在第三方測試數據上的單詞錯誤率（WER） 達到 0.373。
• 多數據集訓練：使用多個數據集進行訓練，增強模型泛化能力。

📚 詳細文檔

模型描述

基於 Ksponspeech 數據集的韓語 Wav2vec 模型。

該模型使用以下兩個數據集進行訓練：

• 訓練集 1：https://huggingface.co/datasets/Taeham/wav2vec2-ksponspeech-train（Ksponspeech 中的第 1 至 20000 條數據）
• 訓練集 2：https://huggingface.co/datasets/Taeham/wav2vec2-ksponspeech-train2（Ksponspeech 中的第 20100 至 40100 條數據）
• 驗證集：https://huggingface.co/datasets/Taeham/wav2vec2-ksponspeech-test（Ksponspeech 中的第 20000 至 20100 條數據）
• 第三方測試集：https://huggingface.co/datasets/Taeham/wav2vec2-ksponspeech-test（Ksponspeech 中的第 60000 至 20100 條數據）

硬件規格

• GPU：GEFORCE RTX 3080ti 12GB
• CPU：Intel i9 - 12900k
• 內存：32GB

訓練超參數

訓練過程中使用了以下超參數：

• 學習率：0.0003
• 訓練批次大小：4
• 評估批次大小：4
• 隨機種子：42
• 優化器：Adam（β1 = 0.9，β2 = 0.999，ε = 1e - 08）
• 學習率調度器類型：線性
• 學習率調度器熱身步數：500
• 訓練輪數：30
• 混合精度訓練：Native AMP

框架版本

• Transformers：4.19.4
• Pytorch：1.11.0
• Datasets：2.2.2
• Tokenizers：0.12.1

提升 WER 的方法

• 數字/字符統一
• 以正確的符號對單詞進行解碼（從基於發音的單詞開始）
• 統一使用特殊字符（. / ?）
• 將不存在的單詞轉換為存在的單詞

評估結果

📄 許可證

本項目採用 Apache - 2.0 許可證。