# 中国語NLP最適化

全単語マスキング戦略を採用した中国語事前学習BERTモデルで、中国語自然言語処理研究の進捗を加速することを目的としています。

CLUECorpusSmallを基に事前学習された中国語の語レベルのRoBERTa中型モデルで、文字モデルに比べて複数のタスクでより良い性能を発揮します。

中国語ELECTRAは、ハルビン工業大学-iFLYTEK共同研究所がGoogleのELECTRAモデルを基にリリースした中国語事前学習モデルで、コンパクトかつ優れた性能を発揮します。

全単語マスキング技術を用いた中国語事前学習BERTモデルで、中国語の自然言語処理の発展を加速することを目的としています。

MacBERTは、新型MLMを誤り訂正のためのマスク言語モデル事前学習タスクとして用いることで改良されたBERTモデルで、事前学習と微調整段階の差異問題を緩和します。