Wav2vec2 Base MIR ST500 ASR 109
W
Wav2vec2 Base MIR ST500 ASR 109
由 gary109 开发
基于facebook/wav2vec2-base在MIR_ST500数据集上微调的自动语音识别模型
下载量 15
发布时间 : 4/15/2022
模型简介
该模型是用于自动语音识别(ASR)任务的微调版本,在MIR_ST500数据集上训练,能够将语音转换为文本。
模型特点
基于wav2vec2架构
采用facebook的wav2vec2-base作为基础架构,具有优秀的语音特征提取能力
特定领域微调
在MIR_ST500数据集上进行微调,可能针对特定领域或口音优化
多GPU训练
使用2个GPU进行分布式训练,提高了训练效率
模型能力
语音转文本
自动语音识别
使用案例
语音转录
会议记录
将会议录音自动转换为文字记录
语音笔记
将语音备忘录转换为可搜索的文本
🚀 wav2vec2-base-MIR_ST500_ASR_109
本模型是 facebook/wav2vec2-base 在 /WORKSPACE/DATASETS/DATASETS/MIR_ST500/MIR_ST500.PY - ASR 数据集上的微调版本。它在评估集上取得了以下结果:
- 损失值:0.6452
- 字错率(Wer):0.3732
📚 详细文档
模型描述
更多信息待补充。
预期用途与限制
更多信息待补充。
训练和评估数据
更多信息待补充。
🔧 技术细节
训练超参数
训练过程中使用了以下超参数:
- 学习率:3e-05
- 训练批次大小:8
- 评估批次大小:8
- 随机种子:42
- 分布式类型:多 GPU
- 设备数量:2
- 总训练批次大小:16
- 总评估批次大小:16
- 优化器:Adam(β1 = 0.9,β2 = 0.999,ε = 1e-08)
- 学习率调度器类型:线性
- 学习率调度器热身步数:500
- 训练轮数:30.0
- 混合精度训练:原生 AMP
训练结果
训练损失 | 轮数 | 步数 | 验证损失 | 字错率(Wer) |
---|---|---|---|---|
12.5751 | 0.27 | 100 | 6.0291 | 1.0 |
4.343 | 0.53 | 200 | 2.8709 | 1.0 |
4.1911 | 0.8 | 300 | 2.5472 | 1.0 |
2.4535 | 1.06 | 400 | 2.4323 | 1.0 |
2.6157 | 1.33 | 500 | 2.2799 | 1.0 |
2.4839 | 1.6 | 600 | 2.2722 | 1.0 |
2.2787 | 1.86 | 700 | 2.2269 | 1.0 |
2.1981 | 2.13 | 800 | 2.2221 | 1.0 |
2.159 | 2.39 | 900 | 2.1657 | 1.0 |
2.1421 | 2.66 | 1000 | 2.1769 | 1.0 |
2.0841 | 2.93 | 1100 | 2.1688 | 1.0 |
2.0599 | 3.19 | 1200 | 2.1141 | 1.0 |
2.0257 | 3.46 | 1300 | 2.0445 | 1.0 |
1.979 | 3.72 | 1400 | 2.0180 | 1.0 |
1.9366 | 3.99 | 1500 | 1.9419 | 1.0 |
1.8547 | 4.26 | 1600 | 1.8765 | 1.0 |
1.3988 | 4.52 | 1700 | 1.4151 | 0.7999 |
1.1881 | 4.79 | 1800 | 1.1158 | 0.7347 |
0.9557 | 5.05 | 1900 | 1.0095 | 0.6485 |
0.9087 | 5.32 | 2000 | 0.9644 | 0.6848 |
0.8086 | 5.59 | 2100 | 0.8960 | 0.6119 |
0.9106 | 5.85 | 2200 | 0.8892 | 0.5941 |
0.8252 | 6.12 | 2300 | 0.8333 | 0.5756 |
0.8299 | 6.38 | 2400 | 0.8559 | 0.5838 |
0.8021 | 6.65 | 2500 | 0.8201 | 0.5883 |
0.7979 | 6.91 | 2600 | 0.8349 | 0.575 |
0.7223 | 7.18 | 2700 | 0.7883 | 0.5563 |
0.6754 | 7.45 | 2800 | 0.7590 | 0.5393 |
0.6454 | 7.71 | 2900 | 0.7411 | 0.5291 |
0.6228 | 7.98 | 3000 | 0.7464 | 0.5300 |
0.6475 | 8.24 | 3100 | 0.7478 | 0.5295 |
0.6452 | 8.51 | 3200 | 0.7555 | 0.5360 |
0.5636 | 8.78 | 3300 | 0.7369 | 0.5232 |
0.564 | 9.04 | 3400 | 0.7331 | 0.5076 |
0.6173 | 9.31 | 3500 | 0.7199 | 0.5034 |
0.625 | 9.57 | 3600 | 0.7243 | 0.5193 |
0.8122 | 9.84 | 3700 | 0.7436 | 0.5242 |
0.5455 | 10.11 | 3800 | 0.7111 | 0.4920 |
0.7928 | 10.37 | 3900 | 0.7137 | 0.4858 |
0.5446 | 10.64 | 4000 | 0.6874 | 0.4828 |
0.4772 | 10.9 | 4100 | 0.6760 | 0.4801 |
0.6447 | 11.17 | 4200 | 0.6893 | 0.4886 |
0.5818 | 11.44 | 4300 | 0.6789 | 0.4740 |
0.4952 | 11.7 | 4400 | 0.7043 | 0.4811 |
0.5722 | 11.97 | 4500 | 0.6794 | 0.4766 |
0.58 | 12.23 | 4600 | 0.6629 | 0.4580 |
0.5432 | 12.5 | 4700 | 0.6907 | 0.4906 |
0.4786 | 12.77 | 4800 | 0.6925 | 0.4854 |
0.5177 | 13.03 | 4900 | 0.6666 | 0.4532 |
0.5448 | 13.3 | 5000 | 0.6744 | 0.4542 |
0.5732 | 13.56 | 5100 | 0.6930 | 0.4986 |
0.5065 | 13.83 | 5200 | 0.6647 | 0.4351 |
0.4005 | 14.1 | 5300 | 0.6659 | 0.4508 |
0.4256 | 14.36 | 5400 | 0.6682 | 0.4533 |
0.4459 | 14.63 | 5500 | 0.6594 | 0.4326 |
0.4645 | 14.89 | 5600 | 0.6615 | 0.4287 |
0.4275 | 15.16 | 5700 | 0.6423 | 0.4299 |
0.4026 | 15.43 | 5800 | 0.6539 | 0.4217 |
0.3507 | 15.69 | 5900 | 0.6555 | 0.4299 |
0.3998 | 15.96 | 6000 | 0.6526 | 0.4213 |
0.4462 | 16.22 | 6100 | 0.6469 | 0.4230 |
0.4095 | 16.49 | 6200 | 0.6516 | 0.4210 |
0.4452 | 16.76 | 6300 | 0.6373 | 0.4133 |
0.3997 | 17.02 | 6400 | 0.6456 | 0.4211 |
0.3826 | 17.29 | 6500 | 0.6278 | 0.4042 |
0.3867 | 17.55 | 6600 | 0.6459 | 0.4112 |
0.4367 | 17.82 | 6700 | 0.6464 | 0.4131 |
0.3887 | 18.09 | 6800 | 0.6567 | 0.4150 |
0.3481 | 18.35 | 6900 | 0.6548 | 0.4145 |
0.4241 | 18.62 | 7000 | 0.6490 | 0.4123 |
0.3742 | 18.88 | 7100 | 0.6561 | 0.4135 |
0.423 | 19.15 | 7200 | 0.6498 | 0.4051 |
0.3803 | 19.41 | 7300 | 0.6475 | 0.3903 |
0.3084 | 19.68 | 7400 | 0.6403 | 0.4042 |
0.3012 | 19.95 | 7500 | 0.6460 | 0.4004 |
0.3306 | 20.21 | 7600 | 0.6491 | 0.3837 |
0.3612 | 20.48 | 7700 | 0.6752 | 0.3884 |
0.3572 | 20.74 | 7800 | 0.6383 | 0.3793 |
0.3638 | 21.01 | 7900 | 0.6349 | 0.3838 |
0.3658 | 21.28 | 8000 | 0.6544 | 0.3793 |
0.3726 | 21.54 | 8100 | 0.6567 | 0.3756 |
0.3618 | 21.81 | 8200 | 0.6390 | 0.3795 |
0.3212 | 22.07 | 8300 | 0.6359 | 0.3768 |
0.3561 | 22.34 | 8400 | 0.6452 | 0.3732 |
0.3231 | 22.61 | 8500 | 0.6416 | 0.3731 |
0.3764 | 22.87 | 8600 | 0.6428 | 0.3697 |
0.4142 | 23.14 | 8700 | 0.6415 | 0.3665 |
0.2713 | 23.4 | 8800 | 0.6541 | 0.3676 |
0.2277 | 23.67 | 8900 | 0.6492 | 0.3684 |
0.3849 | 23.94 | 9000 | 0.6448 | 0.3651 |
0.266 | 24.2 | 9100 | 0.6602 | 0.3643 |
0.3464 | 24.47 | 9200 | 0.6673 | 0.3607 |
0.2919 | 24.73 | 9300 | 0.6557 | 0.3677 |
0.2878 | 25.0 | 9400 | 0.6377 | 0.3653 |
0.1603 | 25.27 | 9500 | 0.6598 | 0.3700 |
0.2055 | 25.53 | 9600 | 0.6558 | 0.3614 |
0.1508 | 25.8 | 9700 | 0.6543 | 0.3605 |
0.3162 | 26.06 | 9800 | 0.6570 | 0.3576 |
0.2613 | 26.33 | 9900 | 0.6604 | 0.3584 |
0.2244 | 26.6 | 10000 | 0.6618 | 0.3634 |
0.1585 | 26.86 | 10100 | 0.6698 | 0.3634 |
0.2959 | 27.13 | 10200 | 0.6709 | 0.3593 |
0.2778 | 27.39 | 10300 | 0.6638 | 0.3537 |
0.2354 | 27.66 | 10400 | 0.6770 | 0.3585 |
0.2992 | 27.93 | 10500 | 0.6698 | 0.3506 |
0.2664 | 28.19 | 10600 | 0.6725 | 0.3533 |
0.2582 | 28.46 | 10700 | 0.6689 | 0.3542 |
0.2096 | 28.72 | 10800 | 0.6731 | 0.3527 |
0.4169 | 28.99 | 10900 | 0.6691 | 0.3521 |
0.2716 | 29.26 | 11000 | 0.6712 | 0.3517 |
0.2944 | 29.52 | 11100 | 0.6708 | 0.3509 |
0.2737 | 29.79 | 11200 | 0.6699 | 0.3491 |
框架版本
- Transformers 4.18.0
- Pytorch 1.9.1+cu102
- Datasets 2.0.0
- Tokenizers 0.11.6
📄 许可证
本模型采用 Apache-2.0 许可证。
Voice Activity Detection
MIT
基于pyannote.audio 2.1版本的语音活动检测模型,用于识别音频中的语音活动时间段
语音识别
V
pyannote
7.7M
181
Wav2vec2 Large Xlsr 53 Portuguese
Apache-2.0
这是一个针对葡萄牙语语音识别任务微调的XLSR-53大模型,基于Common Voice 6.1数据集训练,支持葡萄牙语语音转文本。
语音识别 其他
W
jonatasgrosman
4.9M
32
Whisper Large V3
Apache-2.0
Whisper是由OpenAI提出的先进自动语音识别(ASR)和语音翻译模型,在超过500万小时的标注数据上训练,具有强大的跨数据集和跨领域泛化能力。
语音识别 支持多种语言
W
openai
4.6M
4,321
Whisper Large V3 Turbo
MIT
Whisper是由OpenAI开发的最先进的自动语音识别(ASR)和语音翻译模型,经过超过500万小时标记数据的训练,在零样本设置下展现出强大的泛化能力。
语音识别
Transformers 支持多种语言

W
openai
4.0M
2,317
Wav2vec2 Large Xlsr 53 Russian
Apache-2.0
基于facebook/wav2vec2-large-xlsr-53模型微调的俄语语音识别模型,支持16kHz采样率的语音输入
语音识别 其他
W
jonatasgrosman
3.9M
54
Wav2vec2 Large Xlsr 53 Chinese Zh Cn
Apache-2.0
基于facebook/wav2vec2-large-xlsr-53模型微调的中文语音识别模型,支持16kHz采样率的语音输入。
语音识别 中文
W
jonatasgrosman
3.8M
110
Wav2vec2 Large Xlsr 53 Dutch
Apache-2.0
基于facebook/wav2vec2-large-xlsr-53微调的荷兰语语音识别模型,在Common Voice和CSS10数据集上训练,支持16kHz音频输入。
语音识别 其他
W
jonatasgrosman
3.0M
12
Wav2vec2 Large Xlsr 53 Japanese
Apache-2.0
基于facebook/wav2vec2-large-xlsr-53模型微调的日语语音识别模型,支持16kHz采样率的语音输入
语音识别 日语
W
jonatasgrosman
2.9M
33
Mms 300m 1130 Forced Aligner
基于Hugging Face预训练模型的文本与音频强制对齐工具,支持多种语言,内存效率高
语音识别
Transformers 支持多种语言

M
MahmoudAshraf
2.5M
50
Wav2vec2 Large Xlsr 53 Arabic
Apache-2.0
基于facebook/wav2vec2-large-xlsr-53微调的阿拉伯语语音识别模型,在Common Voice和阿拉伯语语音语料库上训练
语音识别 阿拉伯语
W
jonatasgrosman
2.3M
37
精选推荐AI模型
Llama 3 Typhoon V1.5x 8b Instruct
专为泰语设计的80亿参数指令模型,性能媲美GPT-3.5-turbo,优化了应用场景、检索增强生成、受限生成和推理任务
大型语言模型
Transformers 支持多种语言

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型,专为边缘设备推理设计,体积仅为Cosmo-3B模型的2%左右。
对话系统
Transformers 英语

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基于RoBERTa架构的中文抽取式问答模型,适用于从给定文本中提取答案的任务。
问答系统 中文
R
uer
2,694
98