Wenzhong GPT2 3.5B

🚀 闻仲-GPT2-3.5B

NLGタスクを処理するのに優れた、現在最大の中国語版GPT2です。

• メインページ: Fengshenbang
• Github: Fengshenbang-LM

🚀 クイックスタート

このモデルはNLGタスクを処理するのに特化しており、現在最大の中国語版GPT2です。以下に、モデルの基本的な使い方を紹介します。

✨ 主な機能

• NLGタスクを効果的に処理することができます。
• 30層のデコーダと35億のパラメータを持ち、元のGPT2-XLよりも大きいモデルです。
• 100Gの中国語コーパスで事前学習されています。

📦 インストール

このモデルはtransformersライブラリを使用してロードできます。以下のコードを参考にしてください。

from transformers import GPT2Tokenizer, GPT2Model
tokenizer = GPT2Tokenizer.from_pretrained('IDEA-CCNL/Wenzhong-GPT2-3.5B')
model = GPT2Model.from_pretrained('IDEA-CCNL/Wenzhong-GPT2-3.5B')
text = "Replace me by any text you'd like."
encoded_input = tokenizer(text, return_tensors='pt')
output = model(**encoded_input)

💻 使用例

基本的な使用法

from transformers import GPT2Tokenizer, GPT2Model
tokenizer = GPT2Tokenizer.from_pretrained('IDEA-CCNL/Wenzhong-GPT2-3.5B')
model = GPT2Model.from_pretrained('IDEA-CCNL/Wenzhong-GPT2-3.5B')
text = "Replace me by any text you'd like."
encoded_input = tokenizer(text, return_tensors='pt')
output = model(**encoded_input)

高度な使用法

from transformers import pipeline, set_seed
set_seed(55)
generator = pipeline('text-generation', model='IDEA-CCNL/Wenzhong-GPT2-3.5B')
generator("北京位于", max_length=30, num_return_sequences=1)

📚 ドキュメント

モデル分類

モデル情報

強力な単方向言語モデルを得るために、GPTモデル構造を採用し、中国語コーパスに適用しました。具体的には、このモデルは30層のデコーダと35億のパラメータを持ち、元のGPT2-XLよりも大きいです。100Gの中国語コーパスで事前学習し、32個のNVIDIA A100 GPUを約28時間消費しました。私たちの知る限り、これは現在最大の中国語GPTモデルです。

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。

📖 引用

もしあなたの研究や開発でこのモデルを使用した場合は、以下の論文を引用してください。

@article{fengshenbang,
  author    = {Jiaxing Zhang and Ruyi Gan and Junjie Wang and Yuxiang Zhang and Lin Zhang and Ping Yang and Xinyu Gao and Ziwei Wu and Xiaoqun Dong and Junqing He and Jianheng Zhuo and Qi Yang and Yongfeng Huang and Xiayu Li and Yanghan Wu and Junyu Lu and Xinyu Zhu and Weifeng Chen and Ting Han and Kunhao Pan and Rui Wang and Hao Wang and Xiaojun Wu and Zhongshen Zeng and Chongpei Chen},
  title     = {Fengshenbang 1.0: Being the Foundation of Chinese Cognitive Intelligence},
  journal   = {CoRR},
  volume    = {abs/2209.02970},
  year      = {2022}
}

また、以下のウェブサイトも引用できます。

@misc{Fengshenbang-LM,
  title={Fengshenbang-LM},
  author={IDEA-CCNL},
  year={2021},
  howpublished={\url{https://github.com/IDEA-CCNL/Fengshenbang-LM}},
}