Xls R Uzbek Cv8

🚀 XLS-R-300M Uzbek CV8

本模型是在MOZILLA - FOUNDATION/COMMON_VOICE_8_0 - UZ数据集上对facebook/wav2vec2 - xls - r - 300m进行微调后的版本。它在验证集上取得了以下成果：

• 损失率：0.3063
• 词错误率（Wer）：0.3852
• 字符错误率（Cer）：0.0777

✨ 主要特性

• 标签信息：具备自动语音识别、从训练器生成、HF语音识别排行榜、基于Mozilla基金会Common Voice 8.0数据集、鲁棒语音事件等相关标签。
• 数据集：使用了Mozilla基金会的Common Voice 8.0数据集。
• 基础模型：基于facebook的wav2vec2 - xls - r - 300m模型。
• 评估指标：在测试集上，使用语言模型（LM）时，词错误率（Wer）为15.065，字符错误率（Cer）为3.077；不使用语言模型时，词错误率为32.88，字符错误率为6.53。

📚 详细文档

模型描述

关于模型架构的描述，请参考facebook/wav2vec2 - xls - r - 300m。

模型词汇表由乌兹别克语现代拉丁字母组成，且去除了标点符号。需要注意的是，字符 <‘> 和 <’> 不算作标点符号，因为 <‘> 用于修饰 <o> 和 <g>，而 <’> 表示声门塞音或长元音。

解码器使用了基于Common Voice文本构建的kenlm语言模型。

预期用途与局限性

该模型预计在低保真度用例中具有一定的实用性，例如：

• 草稿视频字幕
• 录制广播的索引

该模型不够可靠，不能作为无障碍实时字幕的替代品，并且不应以侵犯Common Voice数据集贡献者或其他说话者隐私的方式使用。

训练和评估数据

• 训练数据：使用了train公共语音官方分割集的50%。
• 验证数据：使用了官方dev分割集的50%。
• 最终评估数据：无语言模型的模型在完整的test集上进行最终评估，而有语言模型的模型仅在test集中的500个示例上进行评估。

kenlm语言模型是从训练集和其他数据集分割的目标句子编译而来的。

训练超参数

训练期间使用了以下超参数：

• 学习率：3e - 05
• 训练批次大小：32
• 评估批次大小：8
• 随机种子：42
• 梯度累积步数：4
• 总训练批次大小：128
• 优化器：Adam（β1 = 0.9，β2 = 0.999，ε = 1e - 08）
• 学习率调度器类型：线性
• 学习率调度器热身步数：500
• 训练轮数：100.0
• 混合精度训练：原生自动混合精度（Native AMP）

训练结果

框架版本

• Transformers：4.16.2
• Pytorch：1.10.2 + cu102
• Datasets：1.18.3
• Tokenizers：0.11.0

📄 许可证

本项目采用Apache - 2.0许可证。