Wenzhong GPT2 110M

🚀 Wenzhong-GPT2-110M

Wenzhong-GPT2-110M是中文版的GPT2-Small，善於處理NLG任務，為自然語言生成提供了有效的解決方案。

• 主頁：Fengshenbang
• GitHub：Fengshenbang-LM

✨ 主要特性

Wenzhong-GPT2-110M專注於處理NLG任務，是中文版的GPT2-Small，能夠高效地完成自然語言生成工作。

📦 安裝指南

使用此模型前，你需要安裝transformers庫。你可以使用以下命令進行安裝：

pip install transformers

💻 使用示例

基礎用法

from transformers import GPT2Tokenizer,GPT2LMHeadModel
hf_model_path = 'IDEA-CCNL/Wenzhong-GPT2-110M'
tokenizer = GPT2Tokenizer.from_pretrained(hf_model_path)
model = GPT2LMHeadModel.from_pretrained(hf_model_path)

高級用法

question = "北京是中國的"
inputs = tokenizer(question,return_tensors='pt')
generation_output = model.generate(**inputs,
                                return_dict_in_generate=True,
                                output_scores=True,
                                max_length=150,
                                # max_new_tokens=80,
                                do_sample=True,
                                top_p = 0.6,
                                # num_beams=5,
                                eos_token_id=50256,
                                pad_token_id=0,
                                num_return_sequences = 5)

for idx,sentence in enumerate(generation_output.sequences):
    print('next sentence %d:\n'%idx,
    tokenizer.decode(sentence).split('<|endoftext|>')[0])
    print('*'*40)

📚 詳細文檔

模型分類

模型信息

類似於Wenzhong2.0-GPT2-3.5B-chinese，我們實現了一個small版本的12層的Wenzhong-GPT2-110M，並且在悟道（300G版本）上面進行預訓練。

📄 許可證

本項目採用Apache-2.0許可證。

📚 引用

如果您在您的工作中使用了我們的模型，可以引用我們的論文：

@article{fengshenbang,
  author    = {Jiaxing Zhang and Ruyi Gan and Junjie Wang and Yuxiang Zhang and Lin Zhang and Ping Yang and Xinyu Gao and Ziwei Wu and Xiaoqun Dong and Junqing He and Jianheng Zhuo and Qi Yang and Yongfeng Huang and Xiayu Li and Yanghan Wu and Junyu Lu and Xinyu Zhu and Weifeng Chen and Ting Han and Kunhao Pan and Rui Wang and Hao Wang and Xiaojun Wu and Zhongshen Zeng and Chongpei Chen},
  title     = {Fengshenbang 1.0: Being the Foundation of Chinese Cognitive Intelligence},
  journal   = {CoRR},
  volume    = {abs/2209.02970},
  year      = {2022}
}

也可以引用我們的網站：

@misc{Fengshenbang-LM,
  title={Fengshenbang-LM},
  author={IDEA-CCNL},
  year={2021},
  howpublished={\url{https://github.com/IDEA-CCNL/Fengshenbang-LM}},
}