Wenzhong GPT2 110M

🚀 Wenzhong-GPT2-110M

Wenzhong-GPT2-110Mは、NLGタスクを扱うのに適した、中国語版のGPT2-Smallです。このモデルは、自然言語生成タスクに特化しており、多くの応用シーンで利用できます。

• メインページ: Fengshenbang
• Github: Fengshenbang-LM

✨ 主な機能

このモデルは、自然言語生成（NLG）タスクを得意とし、中国語のテキスト生成に特化しています。Wenzhong2.0-GPT2-3.5B-chineseに似た構造で、12層のsmallバージョンであるWenzhong-GPT2-110Mを実装し、悟道コーパス（300Gバージョン）で事前学習されています。

📦 インストール

このモデルを使用するには、transformersライブラリを使用してモデルとトークナイザーをロードする必要があります。

from transformers import GPT2Tokenizer,GPT2LMHeadModel
hf_model_path = 'IDEA-CCNL/Wenzhong-GPT2-110M'
tokenizer = GPT2Tokenizer.from_pretrained(hf_model_path)
model = GPT2LMHeadModel.from_pretrained(hf_model_path)

💻 使用例

基本的な使用法

以下は、モデルを使用してテキストを生成する基本的なコード例です。

from transformers import GPT2Tokenizer,GPT2LMHeadModel
hf_model_path = 'IDEA-CCNL/Wenzhong-GPT2-110M'
tokenizer = GPT2Tokenizer.from_pretrained(hf_model_path)
model = GPT2LMHeadModel.from_pretrained(hf_model_path)

question = "北京是中国的"
inputs = tokenizer(question,return_tensors='pt')
generation_output = model.generate(**inputs,
                                return_dict_in_generate=True,
                                output_scores=True,
                                max_length=150,
                                # max_new_tokens=80,
                                do_sample=True,
                                top_p = 0.6,
                                # num_beams=5,
                                eos_token_id=50256,
                                pad_token_id=0,
                                num_return_sequences = 5)

for idx,sentence in enumerate(generation_output.sequences):
    print('next sentence %d:\n'%idx,
    tokenizer.decode(sentence).split('<|endoftext|>')[0])
    print('*'*40)

📚 ドキュメント

モデル分類

モデル情報

Wenzhong2.0-GPT2-3.5B-chineseに似て、12層のsmallバージョンのWenzhong-GPT2-110Mを実装し、悟道コーパス（300Gバージョン）で事前学習しました。

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。

🔖 引用

もしあなたの研究や開発でこのモデルを使用した場合は、以下の論文とウェブサイトを引用してください。

論文引用

@article{fengshenbang,
  author    = {Jiaxing Zhang and Ruyi Gan and Junjie Wang and Yuxiang Zhang and Lin Zhang and Ping Yang and Xinyu Gao and Ziwei Wu and Xiaoqun Dong and Junqing He and Jianheng Zhuo and Qi Yang and Yongfeng Huang and Xiayu Li and Yanghan Wu and Junyu Lu and Xinyu Zhu and Weifeng Chen and Ting Han and Kunhao Pan and Rui Wang and Hao Wang and Xiaojun Wu and Zhongshen Zeng and Chongpei Chen},
  title     = {Fengshenbang 1.0: Being the Foundation of Chinese Cognitive Intelligence},
  journal   = {CoRR},
  volume    = {abs/2209.02970},
  year      = {2022}
}

ウェブサイト引用

@misc{Fengshenbang-LM,
  title={Fengshenbang-LM},
  author={IDEA-CCNL},
  year={2021},
  howpublished={\url{https://github.com/IDEA-CCNL/Fengshenbang-LM}},
}