Wav2vec2 Xls R 300m Zh HK V2

🚀 Wav2Vec2 XLS - R 300M 粤语（zh - HK）

Wav2Vec2 XLS - R 300M 粤语（zh - HK）是一个基于XLS - R架构的自动语音识别模型。该模型是Wav2Vec2 - XLS - R - 300M在Common Voice数据集的zh - HK子集上进行微调的版本。

此模型使用HuggingFace的PyTorch框架进行训练，并且是由HuggingFace组织的Robust Speech Challenge Event的一部分。所有训练均在由OVH赞助的Tesla V100上完成。

所有训练所需的脚本可以在Files and versions选项卡中找到，通过Tensorboard记录的Training metrics也可查看。

🚀 快速开始

本模型可用于粤语的自动语音识别任务。你可以参考上述提到的训练脚本和指标，在自己的项目中使用该模型。

✨ 主要特性

• 基于XLS - R架构，在粤语语音识别任务上有良好表现。
• 经过在Common Voice数据集的zh - HK子集上微调，更适配粤语语音。

📚 详细文档

模型

评估结果

该模型在评估中取得了以下结果：

训练过程

训练超参数

训练期间使用了以下超参数：

• learning_rate：0.0001
• train_batch_size：8
• eval_batch_size：8
• seed：42
• gradient_accumulation_steps：4
• total_train_batch_size：32
• optimizer：Adam，其中betas=(0.9, 0.999)，epsilon = 1e - 08
• lr_scheduler_type：线性
• lr_scheduler_warmup_steps：2000
• num_epochs：100.0
• mixed_precision_training：Native AMP

训练结果

免责声明

请考虑预训练数据集中可能存在的偏差，这些偏差可能会延续到该模型的结果中。

作者

Wav2Vec2 XLS - R 300M 粤语（zh - HK）由Wilson Wongso进行训练和评估。所有计算和开发工作均在OVH Cloud上完成。

框架版本

• Transformers 4.17.0.dev0
• Pytorch 1.10.2 + cu102
• Datasets 1.18.4.dev0
• Tokenizers 0.11.0

📄 许可证

本项目采用Apache 2.0许可证。