Wav2vec2 Large Xlsr 53 Th Cv8 Newmm

🚀 泰语Wav2Vec2与CommonVoice V8（newmm分词器）+ 语言模型

本模型利用CommonVoice V8数据集进行训练，通过从CommonVoice V7数据集中增加数据而来，该数据集曾被用于airesearch/wav2vec2-large-xlsr-53-th。它对wav2vec2-large-xlsr-53进行了微调。

🔍 模型信息

🚀 快速开始

本模型主要用于泰语的自动语音识别任务，通过结合CommonVoice V8数据集和语言模型，提升了识别的准确性。

📚 详细文档

模型描述

• 技术报告：Thai Wav2Vec2.0 with CommonVoice V8

数据集

该模型在Common Voice V7数据集的基础上增加了Common Voice V8数据集的新数据，或者在分割Common Voice V8之前移除Common Voice V7中的所有数据，然后再将CommonVoice V7数据集添加回数据集中。 使用ekapolc/Thai_commonvoice_split脚本对Common Voice数据集进行分割。

模型

该模型对wav2vec2-large-xlsr-53模型进行了微调，使用泰语Common Voice V8数据集，并使用pythainlp.tokenize.word_tokenize进行预分词。

训练

训练过程中使用了vistec-AI/wav2vec2-large-xlsr-53-th中的许多代码，并修复了vistec-AI/wav2vec2-large-xlsr-53-th#2中的训练代码错误。

评估

使用CommonVoice V8测试集进行测试

使用CommonVoice V7测试集进行测试（与CV V7测试相同）

此测试使用了与https://huggingface.co/airesearch/wav2vec2-large-xlsr-53-th相同的测试集。

链接：

• GitHub数据集：https://github.com/wannaphong/thai_commonvoice_dataset
• 技术报告：Thai Wav2Vec2.0 with CommonVoice V8

BibTeX引用信息

@misc{phatthiyaphaibun2022thai,
      title={Thai Wav2Vec2.0 with CommonVoice V8}, 
      author={Wannaphong Phatthiyaphaibun and Chompakorn Chaksangchaichot and Peerat Limkonchotiwat and Ekapol Chuangsuwanich and Sarana Nutanong},
      year={2022},
      eprint={2208.04799},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

📄 许可证

本项目采用Apache-2.0许可证。