Mengzi Bert Base

🚀 孟子-BERTベースモデル (中国語)

300GBの中国語コーパスで事前学習されたモデルです。マスク言語モデリング（MLM）、品詞（POS）タグ付け、文順予測（SOP）を学習タスクとして使用しています。

孟子: 軽量で強力な中国語事前学習言語モデル

🚀 クイックスタート

💻 使用例

基本的な使用法

from transformers import BertTokenizer, BertModel
tokenizer = BertTokenizer.from_pretrained("Langboat/mengzi-bert-base")
model = BertModel.from_pretrained("Langboat/mengzi-bert-base")

📚 ドキュメント

9つの中国語タスクでのスコア (データ拡張なし)

RoBERTa-wwm-extのスコアはCLUEベースラインから取得しています。

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。

📚 引用

もしこの技術レポートやリソースが有用であると感じた場合は、以下の技術レポートをあなたの論文で引用してください。

@misc{zhang2021mengzi,
      title={Mengzi: Towards Lightweight yet Ingenious Pre-trained Models for Chinese}, 
      author={Zhuosheng Zhang and Hanqing Zhang and Keming Chen and Yuhang Guo and Jingyun Hua and Yulong Wang and Ming Zhou},
      year={2021},
      eprint={2110.06696},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}