W2v2 Kaqchikel

🚀 wav2vec2-large-xls-r-300m-kaqchikel-with-bloom

本模型是一个经过微调的语音识别模型，基于特定的音频数据集对基础模型进行优化，在评估集上有较好的表现，可用于Kaqchikel语言的语音识别任务。

🚀 快速开始

此模型是 facebook/wav2vec2-xls-r-300m 的微调版本，在评估集上取得了以下结果：

• 损失值（Loss）：0.6700
• 字符错误率（Cer）：0.0854
• 词错误率（Wer）：0.3069

✨ 主要特性

模型描述

• 主页：SIL AI
• 联系人：SIL AI 邮箱
• 源数据：Bloom Library 和 Viña Studios

该模型是基于 XLS - R 300m 微调的基线模型。用户如需使用训练好的模型进行推理的教程，可参考原始模型。

预期用途与限制

本模型的使用者应遵守 《联合国土著人民权利宣言》。

该模型遵循 MIT 许可证发布，不保证模型在特定情况下的性能。

训练和评估数据

训练集、验证集和测试集均从同一语料库生成，确保未使用重复文件。

训练过程

基于 Hugging Face Transformers Github 中的示例，使用了标准的 XLS - R 微调方法。

训练超参数

训练期间使用了以下超参数：

• 学习率（learning_rate）：0.0003
• 训练批次大小（train_batch_size）：8
• 评估批次大小（eval_batch_size）：8
• 随机种子（seed）：42
• 梯度累积步数（gradient_accumulation_steps）：4
• 总训练批次大小（total_train_batch_size）：32
• 优化器（optimizer）：Adam，β1 = 0.9，β2 = 0.999，ε = 1e - 08
• 学习率调度器类型（lr_scheduler_type）：线性
• 学习率调度器热身步数（lr_scheduler_warmup_steps）：200
• 训练轮数（num_epochs）：100
• 混合精度训练（mixed_precision_training）：原生自动混合精度（Native AMP）

训练结果

框架版本

• Transformers 4.11.3
• Pytorch 1.10.0+cu113
• Datasets 2.2.1
• Tokenizers 0.10.3

📄 许可证

本模型遵循 MIT 许可证发布。