🚀 wac2vec-lllfantomlll
本模型是 facebook/wav2vec2-base 在 None 数据集上的微调版本。它在评估集上取得了以下成绩:
- 损失值:0.5560
- 字错率(Wer):0.3417
🚀 快速开始
由于原文档未提供快速开始相关内容,此部分跳过。
✨ 主要特性
由于原文档未提供主要特性相关内容,此部分跳过。
📦 安装指南
由于原文档未提供安装步骤相关内容,此部分跳过。
💻 使用示例
由于原文档未提供代码示例相关内容,此部分跳过。
📚 详细文档
模型描述
由于原文档关于模型描述部分信息不足,此部分跳过。
预期用途与限制
由于原文档关于预期用途与限制部分信息不足,此部分跳过。
训练和评估数据
由于原文档关于训练和评估数据部分信息不足,此部分跳过。
训练过程
训练超参数
训练过程中使用了以下超参数:
- 学习率:0.0001
- 训练批次大小:8
- 评估批次大小:8
- 随机种子:42
- 优化器:Adam(β1=0.9,β2=0.999,ε=1e-08)
- 学习率调度器类型:线性
- 学习率调度器热身步数:1000
- 训练轮数:30
- 混合精度训练:原生自动混合精度(Native AMP)
训练结果
训练损失 |
轮数 |
步数 |
验证损失 |
字错率(Wer) |
3.5768 |
1.0 |
500 |
2.0283 |
1.0238 |
0.9219 |
2.01 |
1000 |
0.5103 |
0.5022 |
0.4497 |
3.01 |
1500 |
0.4746 |
0.4669 |
0.3163 |
4.02 |
2000 |
0.4144 |
0.4229 |
0.2374 |
5.02 |
2500 |
0.4186 |
0.4161 |
0.2033 |
6.02 |
3000 |
0.4115 |
0.3975 |
0.1603 |
7.03 |
3500 |
0.4424 |
0.3817 |
0.1455 |
8.03 |
4000 |
0.4151 |
0.3918 |
0.1276 |
9.04 |
4500 |
0.4940 |
0.3798 |
0.108 |
10.04 |
5000 |
0.4580 |
0.3688 |
0.1053 |
11.04 |
5500 |
0.4243 |
0.3700 |
0.0929 |
12.05 |
6000 |
0.4999 |
0.3727 |
0.0896 |
13.05 |
6500 |
0.4991 |
0.3624 |
0.0748 |
14.06 |
7000 |
0.4924 |
0.3602 |
0.0681 |
15.06 |
7500 |
0.4908 |
0.3544 |
0.0619 |
16.06 |
8000 |
0.5021 |
0.3559 |
0.0569 |
17.07 |
8500 |
0.5448 |
0.3518 |
0.0549 |
18.07 |
9000 |
0.4919 |
0.3508 |
0.0478 |
19.08 |
9500 |
0.4704 |
0.3513 |
0.0437 |
20.08 |
10000 |
0.5058 |
0.3555 |
0.0421 |
21.08 |
10500 |
0.5127 |
0.3489 |
0.0362 |
22.09 |
11000 |
0.5439 |
0.3527 |
0.0322 |
23.09 |
11500 |
0.5418 |
0.3469 |
0.0327 |
24.1 |
12000 |
0.5298 |
0.3422 |
0.0292 |
25.1 |
12500 |
0.5511 |
0.3426 |
0.0246 |
26.1 |
13000 |
0.5349 |
0.3472 |
0.0251 |
27.11 |
13500 |
0.5646 |
0.3391 |
0.0214 |
28.11 |
14000 |
0.5821 |
0.3424 |
0.0217 |
29.12 |
14500 |
0.5560 |
0.3417 |
框架版本
- Transformers 4.17.0
- Pytorch 1.11.0+cu113
- Datasets 1.18.3
- Tokenizers 0.12.1
🔧 技术细节
由于原文档未提供足够的技术实现细节内容,此部分跳过。
📄 许可证
本项目采用 Apache-2.0 许可证。