Wav2vec2 Large Xlsr 53 Th Cv8 Newmm

🚀 泰語Wav2Vec2與CommonVoice V8（newmm分詞器）+ 語言模型

本模型利用CommonVoice V8數據集進行訓練，通過從CommonVoice V7數據集中增加數據而來，該數據集曾被用於airesearch/wav2vec2-large-xlsr-53-th。它對wav2vec2-large-xlsr-53進行了微調。

🔍 模型信息

🚀 快速開始

本模型主要用於泰語的自動語音識別任務，通過結合CommonVoice V8數據集和語言模型，提升了識別的準確性。

📚 詳細文檔

模型描述

• 技術報告：Thai Wav2Vec2.0 with CommonVoice V8

數據集

該模型在Common Voice V7數據集的基礎上增加了Common Voice V8數據集的新數據，或者在分割Common Voice V8之前移除Common Voice V7中的所有數據，然後再將CommonVoice V7數據集添加回數據集中。 使用ekapolc/Thai_commonvoice_split腳本對Common Voice數據集進行分割。

模型

該模型對wav2vec2-large-xlsr-53模型進行了微調，使用泰語Common Voice V8數據集，並使用pythainlp.tokenize.word_tokenize進行預分詞。

訓練

訓練過程中使用了vistec-AI/wav2vec2-large-xlsr-53-th中的許多代碼，並修復了vistec-AI/wav2vec2-large-xlsr-53-th#2中的訓練代碼錯誤。

評估

使用CommonVoice V8測試集進行測試

使用CommonVoice V7測試集進行測試（與CV V7測試相同）

此測試使用了與https://huggingface.co/airesearch/wav2vec2-large-xlsr-53-th相同的測試集。

鏈接：

• GitHub數據集：https://github.com/wannaphong/thai_commonvoice_dataset
• 技術報告：Thai Wav2Vec2.0 with CommonVoice V8

BibTeX引用信息

@misc{phatthiyaphaibun2022thai,
      title={Thai Wav2Vec2.0 with CommonVoice V8}, 
      author={Wannaphong Phatthiyaphaibun and Chompakorn Chaksangchaichot and Peerat Limkonchotiwat and Ekapol Chuangsuwanich and Sarana Nutanong},
      year={2022},
      eprint={2208.04799},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

📄 許可證

本項目採用Apache-2.0許可證。