wav2vec_mle开源语音识别模型 - 基于预训练微调，词错误率低至1.0

Wav2vec Mle

Developed by eugenetanjc

基于facebook/wav2vec2-base-960h微调的语音识别模型，在评估集上词错误率为1.0

Downloads 68

Release Time : 6/24/2022

Model Overview

该模型是基于wav2vec2架构的语音识别模型，经过微调后可用于语音转文本任务

基于wav2vec2架构

采用Facebook开发的wav2vec2-base-960h作为基础模型

微调优化

在特定数据集上进行微调训练，优化语音识别性能

语音转文本

自动语音识别

语音转录

会议记录

将会议录音自动转换为文字记录

语音笔记

将语音备忘录转换为可搜索的文本

属性	详情
学习率（learning_rate）	0.0003
训练批次大小（train_batch_size）	6
评估批次大小（eval_batch_size）	8
随机种子（seed）	42
梯度累积步数（gradient_accumulation_steps）	2
总训练批次大小（total_train_batch_size）	12
优化器（optimizer）	Adam，β1 = 0.9，β2 = 0.999，ε = 1e-08
学习率调度器类型（lr_scheduler_type）	线性
学习率调度器热身步数（lr_scheduler_warmup_steps）	20
训练轮数（num_epochs）	60

训练损失（Training Loss）	轮数（Epoch）	步数（Step）	验证损失（Validation Loss）	字错率（Wer）
7.3604	3.33	30	4.4612	1.0
4.502	6.67	60	4.5906	1.0
4.2842	10.0	90	4.4217	1.0
4.3833	13.33	120	4.3967	1.0
4.2631	16.67	150	4.3469	1.0
4.3357	20.0	180	4.3372	1.0
4.3941	23.33	210	4.3187	1.0
4.393	26.67	240	4.2981	1.0
4.3619	30.0	270	4.3049	1.0
4.3849	33.33	300	4.3138	1.0
4.3186	36.67	330	4.3123	1.0
4.3196	40.0	360	4.3097	1.0
4.3212	43.33	390	4.3279	1.0
4.3108	46.67	420	4.3249	1.0
4.3112	50.0	450	4.3093	1.0
4.2994	53.33	480	4.3198	1.0
4.2958	56.67	510	4.3071	1.0
4.2905	60.0	540	4.3076	1.0