Mengzi Bert Base Fin

🚀 孟子BERT基礎金融模型（中文）

本模型在孟子BERT基礎模型上，使用20G金融新聞和研究報告進行繼續訓練。採用了掩碼語言模型（MLM）、詞性標註（POS）和句子順序預測（SOP）作為訓練任務。

孟子：邁向輕量級且精巧的中文預訓練模型

🚀 快速開始

💻 使用示例

基礎用法

from transformers import BertTokenizer, BertModel
tokenizer = BertTokenizer.from_pretrained("Langboat/mengzi-bert-base-fin")
model = BertModel.from_pretrained("Langboat/mengzi-bert-base-fin")

📄 許可證

本項目採用Apache-2.0許可證。

📚 詳細文檔

引用說明

如果您發現本技術報告或資源有用，請在您的論文中引用以下技術報告：

@misc{zhang2021mengzi,
      title={Mengzi: Towards Lightweight yet Ingenious Pre-trained Models for Chinese}, 
      author={Zhuosheng Zhang and Hanqing Zhang and Keming Chen and Yuhang Guo and Jingyun Hua and Yulong Wang and Ming Zhou},
      year={2021},
      eprint={2110.06696},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}