Wav2vec2 Large Xlsr 53 Th Cv8 Newmm

🚀 コモンボイスV8を用いたタイ語Wav2Vec2（newmmトークナイザ）+ 言語モデル

このモデルは、airesearch/wav2vec2-large-xlsr-53-th で使用されていたCommonVoice V7データセットのデータを増やしたCommonVoice V8データセットを用いて学習されました。wav2vec2-large-xlsr-53 をファインチューニングしたものです。

✨ 主な機能

• 言語: タイ語
• タグ: 自動音声認識
• ライセンス: apache-2.0
• データセット: CommonVoice
• 評価指標: WER、CER

📚 ドキュメント

🔍 モデルの説明

• 技術レポート: Thai Wav2Vec2.0 with CommonVoice V8

📦 データセット

Common Voice V8データセットから新しいデータを追加するか、Common Voice V7データセットのすべてのデータを削除してからCommon Voice V8を分割し、その後CommonVoice V7データセットをデータセットに戻します。 ekapolc/Thai_commonvoice_split スクリプトを使用してCommon Voiceデータセットを分割します。

🤖 モデル

このモデルは、wav2vec2-large-xlsr-53 モデルをタイ語のCommon Voice V8データセットでファインチューニングしたもので、pythainlp.tokenize.word_tokenize を使用して事前トークナイズを行います。

🏋️‍♂️ 学習

vistec-AI/wav2vec2-large-xlsr-53-th の多くのコードを使用し、vistec-AI/wav2vec2-large-xlsr-53-th#2 で学習コードのバグを修正しました。

🧪 評価

CommonVoice V8テストセットでのテスト

CommonVoice V7テストセットでのテスト（CV V7と同じテスト）

これは、https://huggingface.co/airesearch/wav2vec2-large-xlsr-53-th と同じテストセットを使用しています。

リンク:

• GitHubデータセット: https://github.com/wannaphong/thai_commonvoice_dataset
• 技術レポート: Thai Wav2Vec2.0 with CommonVoice V8

📄 ライセンス

このプロジェクトは、apache-2.0ライセンスの下で公開されています。

📖 BibTeXエントリと引用情報

@misc{phatthiyaphaibun2022thai,
      title={Thai Wav2Vec2.0 with CommonVoice V8}, 
      author={Wannaphong Phatthiyaphaibun and Chompakorn Chaksangchaichot and Peerat Limkonchotiwat and Ekapol Chuangsuwanich and Sarana Nutanong},
      year={2022},
      eprint={2208.04799},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}