Wav2vec2 Ksponspeech

🚀 wav2vec2-ksponspeech

本模型是 Wav2vec2-large-xlsr-53 在无指定数据集上的微调版本。它在评估集上取得了如下结果，能够有效助力语音识别相关任务，提升识别的准确性和效率。

🚀 快速开始

此模型可直接应用于韩语语音识别任务，通过加载预训练权重，结合相应的推理代码即可开展工作。

✨ 主要特性

• 微调优化：基于Wav2vec2-large-xlsr-53进行微调，更适配特定任务。
• 评估指标出色：在第三方测试数据上的单词错误率（WER） 达到 0.373。
• 多数据集训练：使用多个数据集进行训练，增强模型泛化能力。

📚 详细文档

模型描述

基于 Ksponspeech 数据集的韩语 Wav2vec 模型。

该模型使用以下两个数据集进行训练：

• 训练集 1：https://huggingface.co/datasets/Taeham/wav2vec2-ksponspeech-train（Ksponspeech 中的第 1 至 20000 条数据）
• 训练集 2：https://huggingface.co/datasets/Taeham/wav2vec2-ksponspeech-train2（Ksponspeech 中的第 20100 至 40100 条数据）
• 验证集：https://huggingface.co/datasets/Taeham/wav2vec2-ksponspeech-test（Ksponspeech 中的第 20000 至 20100 条数据）
• 第三方测试集：https://huggingface.co/datasets/Taeham/wav2vec2-ksponspeech-test（Ksponspeech 中的第 60000 至 20100 条数据）

硬件规格

• GPU：GEFORCE RTX 3080ti 12GB
• CPU：Intel i9 - 12900k
• 内存：32GB

训练超参数

训练过程中使用了以下超参数：

• 学习率：0.0003
• 训练批次大小：4
• 评估批次大小：4
• 随机种子：42
• 优化器：Adam（β1 = 0.9，β2 = 0.999，ε = 1e - 08）
• 学习率调度器类型：线性
• 学习率调度器热身步数：500
• 训练轮数：30
• 混合精度训练：Native AMP

框架版本

• Transformers：4.19.4
• Pytorch：1.11.0
• Datasets：2.2.2
• Tokenizers：0.12.1

提升 WER 的方法

• 数字/字符统一
• 以正确的符号对单词进行解码（从基于发音的单词开始）
• 统一使用特殊字符（. / ?）
• 将不存在的单词转换为存在的单词

评估结果

📄 许可证

本项目采用 Apache - 2.0 许可证。