Wav2vec2 Xls R 1b Japanese

🚀 日语语音识别模型 wav2vec2-xls-r-1b

本模型基于facebook/wav2vec2-xls-r-1b进行微调，使用了多个公开的日语语音数据集进行训练，可用于日语语音识别任务，在多个基准测试中表现良好。

🚀 快速开始

评估模型

使用以下命令运行评估：

pip install mecab-python3 unidic-lite pykakasi
python eval.py --model_id vumichien/wav2vec2-xls-r-1b-japanese --dataset mozilla-foundation/common_voice_7_0 --config ja --split test --chunk_length_s 5.0 --stride_length_s 1.0 --log_outputs

✨ 主要特性

• 基于facebook/wav2vec2-xls-r-1b模型进行微调，适用于日语语音识别。
• 使用多个公开的日语语音数据集进行训练，包括Common Voice 7.0、JUST、JSSS和CSS10等。
• 在多个基准测试中取得了较好的WER（词错误率）和CER（字符错误率）结果。

📚 详细文档

模型描述

该模型是 facebook/wav2vec2-xls-r-1b 在多个公开日语语音数据集上的微调版本，这些数据集包括 Common Voice 7.0、JUST（东京大学猿渡实验室的日语语音语料库）、JSSS（用于摘要和简化的日语语音语料库）、CSS10（单说话人语音数据集集合）。预处理数据集可在 VUMICHIEN/COMMON_VOICE_LARGE_JSUT_JSSS_CSS10 中找到。

总训练数据

约60小时

基准测试WER结果

基准测试CER结果

评估

请使用eval.py文件运行评估：

pip install mecab-python3 unidic-lite pykakasi
python eval.py --model_id vumichien/wav2vec2-xls-r-1b-japanese --dataset mozilla-foundation/common_voice_7_0 --config ja --split test --chunk_length_s 5.0 --stride_length_s 1.0 --log_outputs

训练过程

训练超参数

训练过程中使用了以下超参数：

• 学习率：5e-05
• 训练批次大小：16
• 评估批次大小：8
• 随机种子：42
• 梯度累积步数：4
• 总训练批次大小：64
• 优化器：Adam，β=(0.9, 0.999)，ε=1e-08
• 学习率调度器类型：线性
• 学习率调度器热身步数：1000
• 训练轮数：100.0
• 混合精度训练：Native AMP

训练结果

框架版本

• Transformers 4.16.0.dev0
• Pytorch 1.10.1+cu102
• Datasets 1.17.1.dev0
• Tokenizers 0.11.0

📄 许可证

本项目采用 Apache-2.0 许可证。