Mengzi Bert Base Fin

🚀 孟子-BERTベース金融モデル (中国語)

このモデルは、20GBの金融ニュースと調査レポートを用いて、孟子-BERTベースを継続的に学習させたものです。マスク言語モデリング（MLM）、品詞（POS）タグ付け、文順予測（SOP）を学習タスクとして使用しています。

Mengzi: Towards Lightweight yet Ingenious Pre-trained Models for Chinese

🚀 クイックスタート

💻 使用例

基本的な使用法

from transformers import BertTokenizer, BertModel
tokenizer = BertTokenizer.from_pretrained("Langboat/mengzi-bert-base-fin")
model = BertModel.from_pretrained("Langboat/mengzi-bert-base-fin")

📚 ドキュメント

引用

もしこの技術レポートやリソースが有用だと思われる場合は、以下の技術レポートを論文で引用してください。

@misc{zhang2021mengzi,
      title={Mengzi: Towards Lightweight yet Ingenious Pre-trained Models for Chinese}, 
      author={Zhuosheng Zhang and Hanqing Zhang and Keming Chen and Yuhang Guo and Jingyun Hua and Yulong Wang and Ming Zhou},
      year={2021},
      eprint={2110.06696},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下で提供されています。