Mengzi Bert Base

🚀 孟子BERT基礎模型（中文）

孟子BERT基礎模型是在300G中文語料上進行預訓練的模型。它採用了掩碼語言建模（MLM）、詞性標註（POS）和句子順序預測（SOP）作為訓練任務。該模型在多箇中文任務上表現出色，是一個輕量級但功能強大的中文預訓練語言模型。

《孟子：輕量級且強大的中文預訓練語言模型》

🚀 快速開始

以下是使用該模型的示例代碼：

from transformers import BertTokenizer, BertModel
tokenizer = BertTokenizer.from_pretrained("Langboat/mengzi-bert-base")
model = BertModel.from_pretrained("Langboat/mengzi-bert-base")

💻 使用示例

基礎用法

from transformers import BertTokenizer, BertModel
tokenizer = BertTokenizer.from_pretrained("Langboat/mengzi-bert-base")
model = BertModel.from_pretrained("Langboat/mengzi-bert-base")

📚 詳細文檔

九個中文任務的得分（無任何數據增強）

注：RoBERTa-wwm-ext的得分來自CLUE基線。

📄 許可證

本項目採用Apache-2.0許可證。

📖 引用

如果您發現該技術報告或資源有用，請在您的論文中引用以下技術報告：

@misc{zhang2021mengzi,
      title={Mengzi: Towards Lightweight yet Ingenious Pre-trained Models for Chinese}, 
      author={Zhuosheng Zhang and Hanqing Zhang and Keming Chen and Yuhang Guo and Jingyun Hua and Yulong Wang and Ming Zhou},
      year={2021},
      eprint={2110.06696},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}