Wav2vec2 Xls R 300m Zh HK Lm V2

🚀 Wav2Vec2 XLS - R 300M 粤语 (zh - HK) 语言模型

Wav2Vec2 XLS - R 300M 粤语 (zh - HK) 语言模型是一个自动语音识别模型，它能够将粤语语音准确地转换为文本，为粤语语音处理提供了高效的解决方案，在粤语语音识别相关应用场景中具有重要价值。

🚀 快速开始

Wav2Vec2 XLS - R 300M 粤语 (zh - HK) 语言模型是基于 XLS - R 架构的自动语音识别模型。该模型是 [Wav2Vec2 - XLS - R - 300M](https://huggingface.co/facebook/wav2vec2 - xls - r - 300m) 在 Common Voice 数据集的 zh - HK 子集上微调后的版本。随后，我们在这个模型中添加了一个基于多个 PyCantonese 语料库训练的 5 - 元语言模型。

此模型使用 HuggingFace 的 PyTorch 框架进行训练，是 HuggingFace 组织的 [Robust Speech Challenge Event](https://discuss.huggingface.co/t/open - to - the - community - robust - speech - recognition - challenge/13614) 的一部分。所有训练工作均在由 OVH 赞助的 Tesla V100 上完成。

所有用于训练的必要脚本可以在 [Files and versions](https://huggingface.co/w11wo/wav2vec2 - xls - r - 300m - zh - HK - lm - v2/tree/main) 标签中找到，通过 Tensorboard 记录的 [Training metrics](https://huggingface.co/w11wo/wav2vec2 - xls - r - 300m - zh - HK - lm - v2/tensorboard) 也可查看。

关于 N - 元语言模型的训练，我们遵循了 HuggingFace 提供的 [blog post tutorial](https://huggingface.co/blog/wav2vec2 - with - ngram)。

✨ 主要特性

• 基于先进架构：采用 XLS - R 架构，具有强大的特征提取和语音识别能力。
• 多语料训练：使用 Common Voice zh - HK 数据集进行训练，并结合基于多个 PyCantonese 语料库训练的 5 - 元语言模型，提升识别准确性。
• 开源可复现：所有训练脚本和训练指标均可在 HuggingFace 上查看，方便研究人员复现和改进。

📚 详细文档

模型

评估结果

无语言模型评估

该模型在无语言模型的评估中取得了以下结果：

有语言模型评估

添加语言模型后，模型取得了以下结果：

训练过程

训练超参数

训练过程中使用了以下超参数：

• learning_rate：0.0001
• train_batch_size：8
• eval_batch_size：8
• seed：42
• gradient_accumulation_steps：4
• total_train_batch_size：32
• optimizer：Adam，betas=(0.9, 0.999)，epsilon = 1e - 08
• lr_scheduler_type：线性
• lr_scheduler_warmup_steps：2000
• num_epochs：100.0
• mixed_precision_training：Native AMP

训练结果

免责声明

请考虑预训练数据集中可能存在的偏差，这些偏差可能会影响该模型的结果。

作者

Wav2Vec2 XLS - R 300M 粤语 (zh - HK) 语言模型由 Wilson Wongso 进行训练和评估。所有计算和开发工作均在 OVH Cloud 上完成。

框架版本

• Transformers 4.17.0.dev0
• Pytorch 1.10.2+cu102
• Datasets 1.18.4.dev0
• Tokenizers 0.11.0

📄 许可证

本项目采用 Apache - 2.0 许可证。