Wav2vec2 Large Xls R 300m Ia

🚀 wav2vec2-large-xls-r-300m-ia

该模型是在通用语音（Common Voice）数据集上对 facebook/wav2vec2-xls-r-300m 进行微调后的版本。它在自动语音识别任务中表现出色，能够有效处理相关语音数据，为语音识别领域提供了有力的支持。

🚀 快速开始

此模型是在通用语音数据集上对 facebook/wav2vec2-xls-r-300m 进行微调的版本。它在评估集上取得了以下结果：

• 损失（Loss）：0.1452
• 字错误率（Wer）：0.1253

✨ 主要特性

• 微调模型：基于 facebook/wav2vec2-xls-r-300m 进行微调，更适配通用语音数据集。
• 多指标评估：使用损失、字错误率（Wer）、字符错误率（CER）等多种指标进行评估，全面衡量模型性能。

📚 详细文档

训练过程

训练在 Google Colab 中进行，训练笔记本可在仓库中找到。

训练和评估数据

语言模型是根据数据集（国际语的通用语音 8.0）的训练 + 验证分割中的处理后句子文本创建的。评估在笔记本中进行，你可以在仓库中的 "notebook_evaluation_wav2vec2_ia.ipynb" 里查看。

评估指标

• 不使用语言模型（LM）的测试字错误率（WER）：20.1776 %
• 不使用语言模型（LM）的测试字符错误率（CER）：4.7205 %
• 使用语言模型（LM）的测试字错误率（WER）：8.6074 %
• 使用语言模型（LM）的测试字符错误率（CER）：2.4147 %

评估命令

使用 eval.py 进行评估：

huggingface-cli login # 登录到 huggingface 获取访问通用语音 v8 的认证令牌
# 使用语言模型（LM）运行
python eval.py --model_id ayameRushia/wav2vec2-large-xls-r-300m-ia --dataset mozilla-foundation/common_voice_8_0 --config ia --split test

# 不使用语言模型（LM）运行
python eval.py --model_id ayameRushia/wav2vec2-large-xls-r-300m-ia --dataset mozilla-foundation/common_voice_8_0 --config ia --split test --greedy

训练超参数

训练过程中使用了以下超参数：

训练结果

框架版本

• Transformers 4.17.0.dev0
• Pytorch 1.10.0+cu111
• Datasets 1.18.3
• Tokenizers 0.11.0

📄 许可证

本项目采用 Apache-2.0 许可证。