Gpt2 Chinese Poem

🚀 中文古詩GPT2模型

本模型用於生成中文古詩，基於預訓練技術，能有效助力古詩創作，為古詩愛好者和相關研究人員提供便利。

🚀 快速開始

本模型可直接通過文本生成管道使用，以下是不同參數設置下的使用示例。

✨ 主要特性

• 多工具預訓練支持：該模型可通過 UER-py 進行預訓練，此工具在 這篇論文 中被介紹。此外，還能使用 TencentPretrain 進行預訓練，該工具在 這篇論文 中被提及，它繼承了 UER-py 以支持參數超過十億的模型，並將其擴展為多模態預訓練框架。
• 多途徑下載：可以從 UER-py 模型庫頁面、GPT2-Chinese Github 頁面 下載該模型，也可通過 HuggingFace 從 gpt2-chinese-poem 鏈接下載。
• 特殊標記處理：由於在 pipelines.py 中使用了參數 skip_special_tokens，像 [SEP]、[UNK] 這樣的特殊標記會被刪除，因此託管推理 API（右側）的輸出結果可能無法正確顯示。

📦 安裝指南

本模型使用前需安裝相關依賴庫，可通過以下方式安裝：

pip install transformers

💻 使用示例

基礎用法

當參數 skip_special_tokens 為 True 時：

>>> from transformers import BertTokenizer, GPT2LMHeadModel,TextGenerationPipeline
>>> tokenizer = BertTokenizer.from_pretrained("uer/gpt2-chinese-poem")
>>> model = GPT2LMHeadModel.from_pretrained("uer/gpt2-chinese-poem")
>>> text_generator = TextGenerationPipeline(model, tokenizer)   
>>> text_generator("[CLS]梅 山 如 積 翠 ，", max_length=50, do_sample=True)
    [{'generated_text': '[CLS]梅 山 如 積 翠 ， 叢 竹 隠 疏 花 。 水 影 落 寒 瀨 ， 竹 聲 隨 暮 鴉 。 茅 茨 數 間 屋 ， 煙 火 兩 三 家 。 安 得 攜 琴 酒 ， 相 逢 煙 雨 賒 。 向 湖 邊 過 ， 偏 憐 雪 裡 看 。 浮 巒 如 畫 出 ， 遠 樹 與 天 連 。 月 上 僧 房 靜 ， 風 回 螢 火 寒 。 幽 情 何 可 寫 ， 賴 有 子 期 彈 。 棠 真'}]

高級用法

當參數 skip_special_tokens 為 False 時：

>>> from transformers import BertTokenizer, GPT2LMHeadModel,TextGenerationPipeline
>>> tokenizer = BertTokenizer.from_pretrained("uer/gpt2-chinese-poem")
>>> model = GPT2LMHeadModel.from_pretrained("uer/gpt2-chinese-poem")
>>> text_generator = TextGenerationPipeline(model, tokenizer)   
>>> text_generator("[CLS]梅 山 如 積 翠 ，", max_length=100, do_sample=True)
    [{'generated_text': '[CLS]梅 山 如 積 翠 ， 秀 出 何 其 雄 。 矯 矯 雲 間 質 ， 映 日 生 玲 瓏 。 根 大 亂 石 結 ， 枝 高 青 雲 蒙 。 常 因 風 露 晚 ， 隠 映 瑤 臺 中 。 忽 聞 山 石 裂 ， 萬 裡 吹 天 風 。 又 覺 此 身 高 ， 迥 出 凡 境 空 。 清 影 落 潭 水 ， 暗 香 來 逈 峰 。 卻 尋 白 太 白 ， 月 影 搖 江 東 。 [SEP] 而 非'}]

📚 詳細文檔

訓練數據

訓練數據包含 80 萬首中文古詩，這些古詩由 chinese-poetry 和 Poetry 項目收集。

訓練過程

該模型在 騰訊雲 上通過 UER-py 進行預訓練。我們以 128 的序列長度進行 200,000 步的預訓練，使用擴展詞彙表來處理未登錄詞，將在古詩語料庫中出現次數大於或等於 100 的漢字添加到詞彙表中。

數據預處理命令：

python3 preprocess.py --corpus_path corpora/poem.txt \
                      --vocab_path models/google_zh_poem_vocab.txt \
                      --dataset_path poem_dataset.pt --processes_num 16 \
                      --seq_length 128 --data_processor lm 

預訓練命令：

python3 pretrain.py --dataset_path poem_dataset.pt \
                    --vocab_path models/google_zh_poem_vocab.txt \
                    --config_path models/gpt2/config.json \
                    --output_model_path models/poem_gpt2_model.bin \
                    --world_size 8 --gpu_ranks 0 1 2 3 4 5 6 7 \
                    --total_steps 200000 --save_checkpoint_steps 50000 --report_steps 1000 \
                    --learning_rate 5e-4 --batch_size 64

最後，將預訓練模型轉換為 Huggingface 格式：

python3 scripts/convert_gpt2_from_uer_to_huggingface.py --input_model_path models/poem_gpt2_model.bin-200000 \
                                                        --output_model_path pytorch_model.bin \
                                                        --layers_num 12

引用信息

@article{radford2019language,
  title={Language Models are Unsupervised Multitask Learners},
  author={Radford, Alec and Wu, Jeff and Child, Rewon and Luan, David and Amodei, Dario and Sutskever, Ilya},
  year={2019}
}

@article{zhao2019uer,
  title={UER: An Open-Source Toolkit for Pre-training Models},
  author={Zhao, Zhe and Chen, Hui and Zhang, Jinbin and Zhao, Xin and Liu, Tao and Lu, Wei and Chen, Xi and Deng, Haotang and Ju, Qi and Du, Xiaoyong},
  journal={EMNLP-IJCNLP 2019},
  pages={241},
  year={2019}
}

@article{zhao2023tencentpretrain,
  title={TencentPretrain: A Scalable and Flexible Toolkit for Pre-training Models of Different Modalities},
  author={Zhao, Zhe and Li, Yudong and Hou, Cheng and Zhao, Jing and others},
  journal={ACL 2023},
  pages={217},
  year={2023}
}

📄 許可證

文檔中未提及許可證相關信息。