# マスク埋め

ChineseBERTは漢字の字形とピンイン情報を融合させた中国語事前学習モデルで、中国語テキスト処理に最適化されています。

これはBART基本版をベースにした広東語モデルで、LIHKGデータセットで第2段階の事前学習を行って獲得されました。

中国語ELECTRAは哈工大-讯飞共同研究所がGoogleのELECTRAアーキテクチャに基づいて開発した中国語事前学習モデルで、パラメータ数はBERTの1/10ですが性能は同等です。

中国語ELECTRAは、ハルビン工業大学 - 科大訊飛共同研究室（HFL）が、グーグルとスタンフォード大学が発表したELECTRAモデルに基づいて開発した中国語事前学習モデルで、パラメータ数が少なく、性能が高いという特徴があります。