Wav2vec2 Xlsr 1b Finnish

🚀 用于芬兰语自动语音识别的Wav2Vec2 XLS - R

本声学模型是 facebook/wav2vec2-xls-r-1b 针对芬兰语自动语音识别（ASR）任务的微调版本。该模型使用了259.57小时的芬兰语转录语音数据进行微调。Wav2Vec2 XLS - R 首次在 这篇论文 中被提出，并在 此页面 首次发布。

注意：有一个在解码阶段使用了KenLM语言模型的版本，能够生成更好的转录结果：Finnish - NLP/wav2vec2-xlsr-1b-finnish-lm

注意：此模型有一个更好的V2版本，它使用了额外16小时的数据进行了更长时间的微调：Finnish - NLP/wav2vec2-xlsr-1b-finnish-lm-v2

✨ 主要特性

• 基于预训练的facebook/wav2vec2-xls-r-1b模型，针对芬兰语自动语音识别任务进行了微调。
• 使用了259.57小时的芬兰语转录语音数据进行训练。
• 提供了使用KenLM语言模型的版本和V2版本，性能更优。

📦 安装指南

文档中未提及安装步骤，故跳过此章节。

💻 使用示例

文档中未提供代码示例，故跳过此章节。

📚 详细文档

模型描述

Wav2Vec2 XLS - R 是Facebook AI开发的大规模多语言语音预训练模型。它在436000小时的无标签语音数据（包括VoxPopuli、MLS、CommonVoice、BABEL和VoxLingua107）上进行了预训练，使用了wav2vec 2.0目标函数，支持128种语言。

你可以从 这篇博客 和 这篇论文 中了解更多关于该预训练模型的信息。

此模型是预训练模型（10亿参数变体）针对芬兰语自动语音识别任务的微调版本。

预期用途与限制

你可以将此模型用于芬兰语自动语音识别（语音转文本）任务。

使用方法

查看此仓库中的 run - finnish - asr - models.ipynb 笔记本，以获取如何使用此模型的详细示例。

限制和偏差

• 此模型使用的音频样本最大长度为20秒，因此它最适合处理类似长度的较短音频。不过，你也可以尝试使用更长的音频，看看效果如何。如果你在处理非常长的音频文件时遇到内存不足的错误，可以使用 这篇博客文章 中介绍的音频分块方法。
• 用于微调的大部分数据来自芬兰议会数据集，因此该模型在处理与该数据集差异较大的领域（如带有方言的日常芬兰语口语）时，泛化能力可能不佳。此外，数据集中的音频往往以成年男性为主，因此该模型在处理儿童和女性的语音时可能效果不佳。

训练数据

此模型使用了来自以下数据集的259.57小时芬兰语转录语音数据进行微调：

数据集经过筛选，只包含最长20秒的音频样本。

训练过程

此模型是在Hugging Face组织的 稳健语音挑战活动 期间进行训练的。训练在由OVHcloud赞助的Tesla V100 GPU上完成。

训练脚本由Hugging Face提供，可在 此处 获取。我们仅对其数据加载部分进行了修改，以适应我们的自定义数据集。

训练超参数

训练期间使用了以下超参数：

• 学习率：5e - 05
• 训练批次大小：32
• 评估批次大小：8
• 随机种子：42
• 优化器：8位Adam，β1 = 0.9，β2 = 0.999，ε = 1e - 08
• 学习率调度器类型：线性
• 学习率调度器热身步数：500
• 训练轮数：5
• 混合精度训练：原生自动混合精度（Native AMP）

预训练的facebook/wav2vec2-xls-r-1b模型使用以下超参数进行初始化：

• 注意力丢弃率：0.094
• 隐藏层丢弃率：0.047
• 特征投影丢弃率：0.04
• 时间掩码概率：0.082
• 层丢弃率：0.041
• 激活丢弃率：0.055
• CTC损失缩减方式："mean"

训练结果

框架版本

• Transformers 4.17.0.dev0
• Pytorch 1.10.2+cu102
• Datasets 1.18.3
• Tokenizers 0.11.0

评估结果

使用 Common Voice 7.0芬兰语测试集 进行评估。

要评估此模型，请运行此仓库中的eval.py脚本：

python3 eval.py --model_id aapot/wav2vec2-xlsr-1b-finnish --dataset mozilla-foundation/common_voice_7_0 --config fi --split test

与我们的其他模型相比，此模型（表格中的第二行）在词错误率（WER）和字符错误率（CER）方面取得了以下结果：

🔧 技术细节

文档中未提供足够的技术实现细节，故跳过此章节。

📄 许可证

此项目采用Apache - 2.0许可证。

团队成员

• Aapo Tanskanen，Hugging Face个人主页，领英个人主页
• Rasmus Toivanen，Hugging Face个人主页，领英个人主页

如有更多细节需求，欢迎随时联系我们 🤗