Wav2vec2 Final 1 Lm 2

🚀 wav2vec2-19

wav2vec2-19模型在语音识别任务中表现出色，能有效降低字错率（WER），基于预训练模型微调而来，在评估集上取得了较好的结果。

🚀 快速开始

此模型是在 facebook/wav2vec2-base 基础上，在 None 数据集上微调得到的。它在评估集上取得了以下结果：

• 损失值（Loss）：0.6305
• 字错率（Wer）：0.4499

此外，该模型的字错率情况如下：

• 普通情况下 WER 为 0.283
• 使用 3-Gram 时 WER 为 0.126

📚 详细文档

训练过程

训练超参数

训练过程中使用了以下超参数：

• 学习率（learning_rate）：0.0003
• 训练批次大小（train_batch_size）：32
• 评估批次大小（eval_batch_size）：8
• 随机种子（seed）：42
• 优化器（optimizer）：Adam，其中 betas=(0.9, 0.999)，epsilon=1e-08
• 学习率调度器类型（lr_scheduler_type）：线性
• 学习率调度器热身步数（lr_scheduler_warmup_steps）：800
• 训练轮数（num_epochs）：60

训练结果

框架版本

• Transformers：4.19.2
• Pytorch：1.11.0+cu113
• Datasets：2.2.2
• Tokenizers：0.12.1

📄 许可证

本模型采用 Apache-2.0 许可证。