Wav2vec2 Xlsr 1b Finnish V2

🚀 Wav2Vec2 XLS - R 芬兰语自动语音识别模型

本声学模型是 [facebook/wav2vec2 - xls - r - 1b](https://huggingface.co/facebook/wav2vec2 - xls - r - 1b) 针对芬兰语自动语音识别（ASR）任务的微调版本。该模型使用了 275.6 小时的芬兰语转录语音数据进行微调。Wav2Vec2 XLS - R 在 这篇论文 中被提出，并首次发布于 [此页面](https://github.com/pytorch/fairseq/tree/main/examples/wav2vec#wav2vec - 20)。

注意：存在一个在解码阶段使用了 KenLM 语言模型的版本，该版本能生成更好的转录结果：[Finnish - NLP/wav2vec2 - xlsr - 1b - finnish - lm - v2](https://huggingface.co/Finnish - NLP/wav2vec2 - xlsr - 1b - finnish - lm - v2)

✨ 主要特性

• 基于大规模多语言预训练模型 Wav2Vec2 XLS - R 进行微调，适用于芬兰语自动语音识别任务。
• 使用了多种芬兰语语音数据集进行微调，提升模型性能。

📦 安装指南

文档中未提及安装步骤，暂不提供相关内容。

💻 使用示例

文档中未提供代码示例，暂不提供相关内容。

📚 详细文档

模型描述

Wav2Vec2 XLS - R 是 Facebook AI 开发的大规模多语言语音预训练模型。它在 436000 小时的无标签语音数据上进行预训练，这些数据包括 VoxPopuli、MLS、CommonVoice、BABEL 和 VoxLingua107。该模型使用 wav2vec 2.0 目标函数，支持 128 种语言。

你可以从 [此博客](https://ai.facebook.com/blog/xls - r - self - supervised - speech - processing - for - 128 - languages) 和 这篇论文 中了解更多关于该预训练模型的信息。

本模型是预训练模型（10 亿参数变体）针对芬兰语 ASR 任务的微调版本。

预期用途与限制

你可以将此模型用于芬兰语 ASR（语音转文本）任务。

使用方法

查看本仓库中的 [run - finnish - asr - models.ipynb](https://huggingface.co/aapot/wav2vec2 - xlsr - 1b - finnish - v2/blob/main/run - finnish - asr - models.ipynb) 笔记本，获取关于如何使用此模型的详细示例。

限制与偏差

• 该模型使用的音频样本最大长度为 20 秒，因此该模型最适用于类似长度的较短音频。不过，你也可以尝试使用更长的音频，并观察其效果。如果你在处理非常长的音频文件时遇到内存不足的错误，可以使用 [此博客文章](https://huggingface.co/blog/asr - chunking) 中介绍的音频分块方法。
• 用于微调的大部分数据来自芬兰议会数据集，因此该模型可能无法很好地泛化到非常不同的领域，例如带有方言的日常芬兰语口语等。此外，数据集的音频往往以成年男性为主，因此该模型可能对儿童和女性的语音效果不佳。

训练数据

本模型使用了来自以下数据集的 275.6 小时芬兰语转录语音数据进行微调：

数据集经过筛选，只包含最大长度为 20 秒的音频样本。

训练过程

本模型是在 Hugging Face 组织的 [稳健语音挑战活动](https://discuss.huggingface.co/t/open - to - the - community - robust - speech - recognition - challenge/13614) 期间进行训练的。训练在由 OVHcloud 赞助的 Tesla V100 GPU 上完成。

训练脚本由 Hugging Face 提供，可在 [此处](https://github.com/huggingface/transformers/blob/main/examples/research_projects/robust - speech - event/run_speech_recognition_ctc_bnb.py) 获取。我们仅针对自定义数据集修改了数据加载部分。

训练超参数

训练期间使用了以下超参数：

• 学习率：5e - 05
• 训练批次大小：32
• 评估批次大小：8
• 随机种子：42
• 优化器：8 位 Adam，β=(0.9, 0.999)，ε = 1e - 08
• 学习率调度器类型：线性
• 学习率调度器热身步数：500
• 训练轮数：10
• 混合精度训练：原生 AMP

预训练的 facebook/wav2vec2 - xls - r - 1b 模型使用以下超参数进行初始化：

• 注意力丢弃率：0.094
• 隐藏层丢弃率：0.047
• 特征投影丢弃率：0.04
• 时间掩码概率：0.082
• 层丢弃率：0.041
• 激活函数丢弃率：0.055
• CTC 损失缩减方式："mean"

训练结果

框架版本

• Transformers 4.17.0.dev0
• Pytorch 1.10.2+cu102
• Datasets 1.18.3
• Tokenizers 0.11.0

评估结果

评估使用了 [Common Voice 7.0 芬兰语测试集](https://huggingface.co/datasets/mozilla - foundation/common_voice_7_0)。

要评估此模型，请运行本仓库中的 eval.py 脚本：

python3 eval.py --model_id aapot/wav2vec2 - xlsr - 1b - finnish - v2 --dataset mozilla - foundation/common_voice_7_0 --config fi --split test

与我们的其他模型相比，此模型（表格第一行）在字错率（WER）和字符错误率（CER）方面取得了以下结果：

团队成员

• Aapo Tanskanen，Hugging Face 个人资料，领英个人资料
• Rasmus Toivanen，Hugging Face 个人资料，领英个人资料

如有更多详情需求，请随时联系我们 🤗

📄 许可证

本项目采用 Apache 2.0 许可证。