Gpt2 Chinese Cluecorpussmall
模型概述
該模型是GPT2的輕量級版本,專門針對中文文本生成任務進行優化,能夠生成連貫的中文文本
模型特點
輕量級設計
採用6層Transformer結構,相比標準GPT2模型更輕量,適合資源有限的環境
中文優化
專門針對中文文本進行預訓練,在中文生成任務上表現良好
長文本支持
支持1024長度的序列輸入,適合生成較長文本
模型能力
中文文本生成
文本續寫
對話生成
使用案例
內容創作
文章續寫
根據給定的開頭段落生成連貫的文章內容
生成符合上下文的中文文本
對話系統
用於構建聊天機器人的回覆生成模塊
生成自然流暢的對話回覆
教育應用
寫作輔助
幫助學生進行創意寫作練習
提供寫作靈感和內容建議
🚀 中文GPT2模型
本項目的GPT2系列模型用於生成中文文本。除了GPT2 - xlarge模型外,其他模型均使用UER - py進行預訓練,該工具在這篇論文中被介紹。GPT2 - xlarge模型則使用TencentPretrain進行預訓練,該工具在這篇論文中被介紹,它繼承了UER - py,支持參數超過十億的模型,並將其擴展為多模態預訓練框架。此外,其他模型也可以使用TencentPretrain進行預訓練。
🚀 快速開始
模型下載
你可以從UER - py模型庫頁面下載中文GPT2系列模型,也可以通過HuggingFace從以下鏈接下載:
模型名稱 | 鏈接 |
---|---|
GPT2 - distil | L = 6/H = 768 |
GPT2 | L = 12/H = 768 |
GPT2 - medium | L = 24/H = 1024 |
GPT2 - large | L = 36/H = 1280 |
GPT2 - xlarge | L = 48/H = 1600 |
需要注意的是,6層的模型被稱為GPT2 - distil模型,因為它遵循distilgpt2的配置,並且預訓練過程不涉及更大模型的監督。
模型使用
你可以直接使用文本生成管道來使用該模型(以GPT2 - distil為例):
>>> from transformers import BertTokenizer, GPT2LMHeadModel, TextGenerationPipeline
>>> tokenizer = BertTokenizer.from_pretrained("uer/gpt2-distil-chinese-cluecorpussmall")
>>> model = GPT2LMHeadModel.from_pretrained("uer/gpt2-distil-chinese-cluecorpussmall")
>>> text_generator = TextGenerationPipeline(model, tokenizer)
>>> text_generator("這是很久之前的事情了", max_length=100, do_sample=True)
[{'generated_text': '這是很久之前的事情了 。 我 現 在 想 起 來 就 讓 自 己 很 傷 心 , 很 失 望 。 我 現 在 想 到 , 我 覺 得 大 多 數 人 的 生 活 比 我 的 生 命 還 要 重 要 , 對 一 些 事 情 的 看 法 , 對 一 些 人 的 看 法 , 都 是 在 發 洩 。 但 是 , 我 們 的 生 活 是 需 要 一 個 信 用 體 系 的 。 我 不 知'}]
✨ 主要特性
- 支持多種規模的GPT2模型,包括distil、base、medium、large和xlarge。
- 可以用於生成自然流暢的中文文本。
- 模型預訓練工具支持UER - py和TencentPretrain,具有良好的擴展性。
📦 安裝指南
文檔未提及安裝相關內容,可參考相關工具(UER - py、TencentPretrain、transformers)的官方文檔進行安裝。
💻 使用示例
基礎用法
>>> from transformers import BertTokenizer, GPT2LMHeadModel, TextGenerationPipeline
>>> tokenizer = BertTokenizer.from_pretrained("uer/gpt2-distil-chinese-cluecorpussmall")
>>> model = GPT2LMHeadModel.from_pretrained("uer/gpt2-distil-chinese-cluecorpussmall")
>>> text_generator = TextGenerationPipeline(model, tokenizer)
>>> text_generator("這是很久之前的事情了", max_length=100, do_sample=True)
[{'generated_text': '這是很久之前的事情了 。 我 現 在 想 起 來 就 讓 自 己 很 傷 心 , 很 失 望 。 我 現 在 想 到 , 我 覺 得 大 多 數 人 的 生 活 比 我 的 生 命 還 要 重 要 , 對 一 些 事 情 的 看 法 , 對 一 些 人 的 看 法 , 都 是 在 發 洩 。 但 是 , 我 們 的 生 活 是 需 要 一 個 信 用 體 系 的 。 我 不 知'}]
📚 詳細文檔
訓練數據
使用CLUECorpusSmall作為訓練數據。
訓練過程
GPT2 - distil等模型(使用UER - py預訓練)
階段1:
python3 preprocess.py --corpus_path corpora/cluecorpussmall.txt \
--vocab_path models/google_zh_vocab.txt \
--dataset_path cluecorpussmall_lm_seq128_dataset.pt \
--seq_length 128 --processes_num 32 --data_processor lm
python3 pretrain.py --dataset_path cluecorpussmall_lm_seq128_dataset.pt \
--vocab_path models/google_zh_vocab.txt \
--config_path models/gpt2/distil_config.json \
--output_model_path models/cluecorpussmall_gpt2_distil_seq128_model.bin \
--world_size 8 --gpu_ranks 0 1 2 3 4 5 6 7 \
--total_steps 1000000 --save_checkpoint_steps 100000 --report_steps 50000 \
--learning_rate 1e-4 --batch_size 64
階段2:
python3 preprocess.py --corpus_path corpora/cluecorpussmall.txt \
--vocab_path models/google_zh_vocab.txt \
--dataset_path cluecorpussmall_lm_seq1024_dataset.pt \
--seq_length 1024 --processes_num 32 --data_processor lm
python3 pretrain.py --dataset_path cluecorpussmall_lm_seq1024_dataset.pt \
--vocab_path models/google_zh_vocab.txt \
--pretrained_model_path models/cluecorpussmall_gpt2_distil_seq128_model.bin-1000000 \
--config_path models/gpt2/distil_config.json \
--output_model_path models/cluecorpussmall_gpt2_distil_seq1024_model.bin \
--world_size 8 --gpu_ranks 0 1 2 3 4 5 6 7 \
--total_steps 250000 --save_checkpoint_steps 50000 --report_steps 10000 \
--learning_rate 5e-5 --batch_size 16
最後,將預訓練模型轉換為Huggingface格式:
python3 scripts/convert_gpt2_from_uer_to_huggingface.py --input_model_path models/cluecorpussmall_gpt2_distil_seq1024_model.bin-250000 \
--output_model_path pytorch_model.bin \
--layers_num 6
GPT2 - xlarge模型(使用TencentPretrain預訓練)
階段1:
python3 preprocess.py --corpus_path corpora/cluecorpussmall.txt \
--vocab_path models/google_zh_vocab.txt \
--dataset_path cluecorpussmall_lm_seq128_dataset.pt \
--seq_length 128 --processes_num 32 --data_processor lm
deepspeed pretrain.py --deepspeed --deepspeed_config models/deepspeed_config.json \
--dataset_path corpora/cluecorpussmall_lm_seq128_dataset.pt \
--vocab_path models/google_zh_vocab.txt \
--config_path models/gpt2/xlarge_config.json \
--output_model_path models/cluecorpussmall_gpt2_xlarge_seq128_model \
--world_size 8 --batch_size 64 \
--total_steps 1000000 --save_checkpoint_steps 100000 --report_steps 50000 \
--deepspeed_checkpoint_activations --deepspeed_checkpoint_layers_num 24
在階段2之前,從DeepSpeed檢查點中提取fp32合併權重:
python3 models/cluecorpussmall_gpt2_xlarge_seq128_model/zero_to_fp32.py models/cluecorpussmall_gpt2_xlarge_seq128_model/ \
models/cluecorpussmall_gpt2_xlarge_seq128_model.bin
階段2:
python3 preprocess.py --corpus_path corpora/cluecorpussmall.txt \
--vocab_path models/google_zh_vocab.txt \
--dataset_path cluecorpussmall_lm_seq1024_dataset.pt \
--seq_length 1024 --processes_num 32 --data_processor lm
deepspeed pretrain.py --deepspeed --deepspeed_config models/deepspeed_config.json \
--dataset_path corpora/cluecorpussmall_lm_seq1024_dataset.pt \
--vocab_path models/google_zh_vocab.txt \
--config_path models/gpt2/xlarge_config.json \
--pretrained_model_path models/cluecorpussmall_gpt2_xlarge_seq128_model.bin \
--output_model_path models/cluecorpussmall_gpt2_xlarge_seq1024_model \
--world_size 8 --batch_size 16 --learning_rate 5e-5 \
--total_steps 250000 --save_checkpoint_steps 50000 --report_steps 10000 \
--deepspeed_checkpoint_activations --deepspeed_checkpoint_layers_num 6
然後,從DeepSpeed檢查點中提取fp32合併權重:
python3 models/cluecorpussmall_gpt2_xlarge_seq1024_model/zero_to_fp32.py models/cluecorpussmall_gpt2_xlarge_seq1024_model/ \
models/cluecorpussmall_gpt2_xlarge_seq1024_model.bin
最後,將預訓練模型轉換為Huggingface格式:
python3 scripts/convert_gpt2_from_tencentpretrain_to_huggingface.py --input_model_path models/cluecorpussmall_gpt2_xlarge_seq1024_model.bin \
--output_model_path pytorch_model.bin \
--layers_num 48
BibTeX引用
@article{radford2019language,
title={Language Models are Unsupervised Multitask Learners},
author={Radford, Alec and Wu, Jeff and Child, Rewon and Luan, David and Amodei, Dario and Sutskever, Ilya},
year={2019}
}
@article{zhao2019uer,
title={UER: An Open-Source Toolkit for Pre-training Models},
author={Zhao, Zhe and Chen, Hui and Zhang, Jinbin and Zhao, Xin and Liu, Tao and Lu, Wei and Chen, Xi and Deng, Haotang and Ju, Qi and Du, Xiaoyong},
journal={EMNLP-IJCNLP 2019},
pages={241},
year={2019}
}
@article{zhao2023tencentpretrain,
title={TencentPretrain: A Scalable and Flexible Toolkit for Pre-training Models of Different Modalities},
author={Zhao, Zhe and Li, Yudong and Hou, Cheng and Zhao, Jing and others},
journal={ACL 2023},
pages={217},
year={2023}
Phi 2 GGUF
其他
Phi-2是微軟開發的一個小型但強大的語言模型,具有27億參數,專注於高效推理和高質量文本生成。
大型語言模型 支持多種語言
P
TheBloke
41.5M
205
Roberta Large
MIT
基於掩碼語言建模目標預訓練的大型英語語言模型,採用改進的BERT訓練方法
大型語言模型 英語
R
FacebookAI
19.4M
212
Distilbert Base Uncased
Apache-2.0
DistilBERT是BERT基礎模型的蒸餾版本,在保持相近性能的同時更輕量高效,適用於序列分類、標記分類等自然語言處理任務。
大型語言模型 英語
D
distilbert
11.1M
669
Llama 3.1 8B Instruct GGUF
Meta Llama 3.1 8B Instruct 是一個多語言大語言模型,針對多語言對話用例進行了優化,在常見的行業基準測試中表現優異。
大型語言模型 英語
L
modularai
9.7M
4
Xlm Roberta Base
MIT
XLM-RoBERTa是基於100種語言的2.5TB過濾CommonCrawl數據預訓練的多語言模型,採用掩碼語言建模目標進行訓練。
大型語言模型 支持多種語言
X
FacebookAI
9.6M
664
Roberta Base
MIT
基於Transformer架構的英語預訓練模型,通過掩碼語言建模目標在海量文本上訓練,支持文本特徵提取和下游任務微調
大型語言模型 英語
R
FacebookAI
9.3M
488
Opt 125m
其他
OPT是由Meta AI發佈的開放預訓練Transformer語言模型套件,參數量從1.25億到1750億,旨在對標GPT-3系列性能,同時促進大規模語言模型的開放研究。
大型語言模型 英語
O
facebook
6.3M
198
1
基於transformers庫的預訓練模型,適用於多種NLP任務
大型語言模型
Transformers

1
unslothai
6.2M
1
Llama 3.1 8B Instruct
Llama 3.1是Meta推出的多語言大語言模型系列,包含8B、70B和405B參數規模,支持8種語言和代碼生成,優化了多語言對話場景。
大型語言模型
Transformers 支持多種語言

L
meta-llama
5.7M
3,898
T5 Base
Apache-2.0
T5基礎版是由Google開發的文本到文本轉換Transformer模型,參數規模2.2億,支持多語言NLP任務。
大型語言模型 支持多種語言
T
google-t5
5.4M
702
精選推薦AI模型
Llama 3 Typhoon V1.5x 8b Instruct
專為泰語設計的80億參數指令模型,性能媲美GPT-3.5-turbo,優化了應用場景、檢索增強生成、受限生成和推理任務
大型語言模型
Transformers 支持多種語言

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一個基於SODA數據集訓練的超小型對話模型,專為邊緣設備推理設計,體積僅為Cosmo-3B模型的2%左右。
對話系統
Transformers 英語

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基於RoBERTa架構的中文抽取式問答模型,適用於從給定文本中提取答案的任務。
問答系統 中文
R
uer
2,694
98