🚀 wav2vec2-large-xlsr-53-german-cv9
该模型是在MOZILLA - FOUNDATION/COMMON_VOICE_9_0 - DE数据集上对./facebook/wav2vec2-large-xlsr-53进行微调后的版本,可用于德语的自动语音识别任务。
🚀 快速开始
该模型可直接用于德语的自动语音识别任务,你可以基于Hugging Face的Transformers库加载并使用该模型。
✨ 主要特性
- 微调模型:基于
facebook/wav2vec2-large-xlsr-53
模型在德语的Common Voice 9.0数据集上进行微调。
- 多数据集评估:在Common Voice 9和Common Voice 6.1等数据集上进行了评估,展示了较好的性能。
- 多指标评估:使用了词错误率(WER)和字符错误率(CER)等指标进行评估。
📚 详细文档
模型信息
- 语言:德语(de)
- 许可证:Apache - 2.0
- 标签:自动语音识别、mozilla - foundation/common_voice_9_0、generated_from_trainer
- 数据集:mozilla - foundation/common_voice_9_0
评估结果
任务 |
数据集 |
指标 |
值 |
自动语音识别 |
Common Voice 9 |
测试WER |
9.480663281840769 |
自动语音识别 |
Common Voice 9 |
测试CER |
1.9167347943074394 |
自动语音识别 |
Common Voice 9(+LM) |
测试WER |
7.49027762774117 |
自动语音识别 |
Common Voice 9(+LM) |
测试CER |
1.9167347943074394 |
自动语音识别 |
Common Voice 6.1 |
测试WER |
8.122005951166668 |
自动语音识别 |
Common Voice 6.1 |
测试CER |
1. |
自动语音识别 |
Common Voice 6.1(+LM) |
测试WER |
6.1453182045203544 |
自动语音识别 |
Common Voice 6.1(+LM) |
测试CER |
1.5247743373447677 |
训练过程
训练超参数
- 学习率:0.0001
- 训练批次大小:16
- 评估批次大小:32
- 随机种子:42
- 梯度累积步数:8
- 总训练批次大小:128
- 优化器:Adam,
betas=(0.9, 0.999)
,epsilon = 1e-08
- 学习率调度器类型:线性
- 学习率调度器热身比例:0.1
- 训练轮数:50.0
- 混合精度训练:Native AMP
训练结果
训练损失 |
轮数 |
步数 |
验证损失 |
评估WER |
0.4129 |
1.0 |
3557 |
0.3015 |
0.2499 |
0.2121 |
2.0 |
7114 |
0.1596 |
0.1567 |
0.1455 |
3.0 |
10671 |
0.1377 |
0.1354 |
0.1436 |
4.0 |
14228 |
0.1301 |
0.1282 |
0.1144 |
5.0 |
17785 |
0.1225 |
0.1245 |
0.1219 |
6.0 |
21342 |
0.1254 |
0.1208 |
0.104 |
7.0 |
24899 |
0.1198 |
0.1232 |
0.1016 |
8.0 |
28456 |
0.1149 |
0.1174 |
0.1093 |
9.0 |
32013 |
0.1186 |
0.1186 |
0.0858 |
10.0 |
35570 |
0.1182 |
0.1164 |
0.102 |
11.0 |
39127 |
0.1191 |
0.1186 |
0.0834 |
12.0 |
42684 |
0.1161 |
0.1096 |
0.0916 |
13.0 |
46241 |
0.1147 |
0.1107 |
0.0811 |
14.0 |
49798 |
0.1174 |
0.1136 |
0.0814 |
15.0 |
53355 |
0.1132 |
0.1114 |
0.0865 |
16.0 |
56912 |
0.1134 |
0.1097 |
0.0701 |
17.0 |
60469 |
0.1096 |
0.1054 |
0.0891 |
18.0 |
64026 |
0.1110 |
0.1076 |
0.071 |
19.0 |
67583 |
0.1141 |
0.1074 |
0.0726 |
20.0 |
71140 |
0.1094 |
0.1093 |
0.0647 |
21.0 |
74697 |
0.1088 |
0.1095 |
0.0643 |
22.0 |
78254 |
0.1105 |
0.1044 |
0.0764 |
23.0 |
81811 |
0.1072 |
0.1042 |
0.0605 |
24.0 |
85368 |
0.1095 |
0.1026 |
0.0722 |
25.0 |
88925 |
0.1144 |
0.1066 |
0.0597 |
26.0 |
92482 |
0.1087 |
0.1022 |
0.062 |
27.0 |
96039 |
0.1073 |
0.1027 |
0.0536 |
28.0 |
99596 |
0.1068 |
0.1027 |
0.0616 |
29.0 |
103153 |
0.1097 |
0.1037 |
0.0642 |
30.0 |
106710 |
0.1117 |
0.1020 |
0.0555 |
31.0 |
110267 |
0.1109 |
0.0990 |
0.0632 |
32.0 |
113824 |
0.1104 |
0.0977 |
0.0482 |
33.0 |
117381 |
0.1108 |
0.0958 |
0.0601 |
34.0 |
120938 |
0.1095 |
0.0957 |
0.0508 |
35.0 |
124495 |
0.1079 |
0.0973 |
0.0526 |
36.0 |
128052 |
0.1068 |
0.0967 |
0.0487 |
37.0 |
131609 |
0.1081 |
0.0966 |
0.0495 |
38.0 |
135166 |
0.1099 |
0.0956 |
0.0528 |
39.0 |
138723 |
0.1091 |
0.0923 |
0.0439 |
40.0 |
142280 |
0.1111 |
0.0928 |
0.0467 |
41.0 |
145837 |
0.1131 |
0.0943 |
0.0407 |
42.0 |
149394 |
0.1115 |
0.0944 |
0.046 |
43.0 |
152951 |
0.1106 |
0.0935 |
0.0447 |
44.0 |
156508 |
0.1083 |
0.0919 |
0.0434 |
45.0 |
160065 |
0.1093 |
0.0909 |
0.0472 |
46.0 |
163622 |
0.1092 |
0.0921 |
0.0414 |
47.0 |
167179 |
0.1106 |
0.0922 |
0.0501 |
48.0 |
170736 |
0.1094 |
0.0918 |
0.0388 |
49.0 |
174293 |
0.1099 |
0.0918 |
0.0428 |
50.0 |
177850 |
0.1103 |
0.0915 |
框架版本
- Transformers 4.19.0.dev0
- Pytorch 1.11.0+cu113
- Datasets 2.0.0
- Tokenizers 0.11.6
📄 许可证
该模型使用Apache - 2.0许可证。