Randeng Pegasus 523M Summary Chinese V1

🚀 燃燈-飛馬-523M-摘要-中文-V1

本模型是中文版的PAGASUS-large，善於處理摘要任務，在多箇中文摘要數據集上進行了微調，能為中文文本摘要任務提供高效解決方案。

🚀 快速開始

本模型是基於Transformer架構的預訓練模型，可用於中文文本摘要任務。以下是使用示例：

from transformers import PegasusForConditionalGeneration
# 需要提前從風神榜模型庫的GitHub倉庫下載tokenizers_pegasus.py和其他Python腳本，
# 或者你可以從https://huggingface.co/IDEA-CCNL/Randeng_Pegasus_523M/tree/main下載tokenizers_pegasus.py和data_utils.py
# 強烈建議你克隆風神榜模型庫的倉庫：
# 1. git clone https://github.com/IDEA-CCNL/Fengshenbang-LM
# 2. cd Fengshenbang-LM/fengshen/examples/pegasus/
# 然後你就會看到飛馬模型所需的tokenizers_pegasus.py和data_utils.py

from tokenizers_pegasus import PegasusTokenizer

model = PegasusForConditionalGeneration.from_pretrained("IDEA-CCNL/Randeng-Pegasus-523M-Summary-Chinese-V1")
tokenizer = PegasusTokenizer.from_pretrained("IDEA-CCNL/Randeng-Pegasus-523M-Summary-Chinese-V1")

text = "在北京冬奧會自由式滑雪女子坡面障礙技巧決賽中，中國選手谷愛凌奪得銀牌。祝賀谷愛凌！今天上午，自由式滑雪女子坡面障礙技巧決賽舉行。決賽分三輪進行，取選手最佳成績排名決出獎牌。第一跳，中國選手谷愛凌獲得69.90分。在12位選手中排名第三。完成動作後，谷愛凌又扮了個鬼臉，甚是可愛。第二輪中，谷愛凌在道具區第三個障礙處失誤，落地時摔倒。獲得16.98分。網友：摔倒了也沒關係，繼續加油！在第二跳失誤摔倒的情況下，谷愛凌頂住壓力，第三跳穩穩發揮，流暢落地！獲得86.23分！此輪比賽，共12位選手參賽，谷愛凌第10位出場。網友：看比賽時我比谷愛凌緊張，加油！"
inputs = tokenizer(text, max_length=1024, return_tensors="pt")

# 生成摘要
summary_ids = model.generate(inputs["input_ids"])
tokenizer.batch_decode(summary_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]

# 模型輸出：自由式滑雪女子坡面障礙技巧決賽谷愛凌摘銀

✨ 主要特性

• 專為中文文本摘要任務設計，在多箇中文摘要數據集上微調，能更好地適應中文語境。
• 在不損傷下游指標的情況下，提升了摘要對原文的忠實度。

📦 安裝指南

使用前需要安裝必要的依賴庫，你可以通過以下命令安裝：

pip install transformers

同時，需要提前從風神榜模型庫的GitHub倉庫下載tokenizers_pegasus.py和其他Python腳本，或者從這裡下載tokenizers_pegasus.py和data_utils.py。強烈建議克隆風神榜模型庫的倉庫：

git clone https://github.com/IDEA-CCNL/Fengshenbang-LM
cd Fengshenbang-LM/fengshen/examples/pegasus/

💻 使用示例

基礎用法

from transformers import PegasusForConditionalGeneration
# 需要提前從風神榜模型庫的GitHub倉庫下載tokenizers_pegasus.py和其他Python腳本，
# 或者你可以從https://huggingface.co/IDEA-CCNL/Randeng_Pegasus_523M/tree/main下載tokenizers_pegasus.py和data_utils.py
# 強烈建議你克隆風神榜模型庫的倉庫：
# 1. git clone https://github.com/IDEA-CCNL/Fengshenbang-LM
# 2. cd Fengshenbang-LM/fengshen/examples/pegasus/
# 然後你就會看到飛馬模型所需的tokenizers_pegasus.py和data_utils.py

from tokenizers_pegasus import PegasusTokenizer

model = PegasusForConditionalGeneration.from_pretrained("IDEA-CCNL/Randeng-Pegasus-523M-Summary-Chinese-V1")
tokenizer = PegasusTokenizer.from_pretrained("IDEA-CCNL/Randeng-Pegasus-523M-Summary-Chinese-V1")

text = "在北京冬奧會自由式滑雪女子坡面障礙技巧決賽中，中國選手谷愛凌奪得銀牌。祝賀谷愛凌！今天上午，自由式滑雪女子坡面障礙技巧決賽舉行。決賽分三輪進行，取選手最佳成績排名決出獎牌。第一跳，中國選手谷愛凌獲得69.90分。在12位選手中排名第三。完成動作後，谷愛凌又扮了個鬼臉，甚是可愛。第二輪中，谷愛凌在道具區第三個障礙處失誤，落地時摔倒。獲得16.98分。網友：摔倒了也沒關係，繼續加油！在第二跳失誤摔倒的情況下，谷愛凌頂住壓力，第三跳穩穩發揮，流暢落地！獲得86.23分！此輪比賽，共12位選手參賽，谷愛凌第10位出場。網友：看比賽時我比谷愛凌緊張，加油！"
inputs = tokenizer(text, max_length=1024, return_tensors="pt")

# 生成摘要
summary_ids = model.generate(inputs["input_ids"])
tokenizer.batch_decode(summary_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]

# 模型輸出：自由式滑雪女子坡面障礙技巧決賽谷愛凌摘銀

📚 詳細文檔

• Github：Fengshenbang-LM
• Docs：Fengshenbang-Docs

🔧 技術細節

模型分類

模型信息

參考論文：PEGASUS: Pre-training with Extracted Gap-sentences for Abstractive Summarization

基於Randeng-Pegasus-523M-Chinese，我們在收集的7箇中文領域的文本摘要數據集（約4M個樣本），使用實體過濾後數據集（約1.8M）重新微調，在不損傷下游指標的情況下提升了摘要對原文的忠實度，得到了summary-v1版本。這7個數據集為：education, new2016zh, nlpcc, shence, sohu, thucnews和weibo。

下游效果

📄 許可證

如果你在工作中使用了我們的模型，可以引用我們的論文：

@article{fengshenbang,
  author    = {Jiaxing Zhang and Ruyi Gan and Junjie Wang and Yuxiang Zhang and Lin Zhang and Ping Yang and Xinyu Gao and Ziwei Wu and Xiaoqun Dong and Junqing He and Jianheng Zhuo and Qi Yang and Yongfeng Huang and Xiayu Li and Yanghan Wu and Junyu Lu and Xinyu Zhu and Weifeng Chen and Ting Han and Kunhao Pan and Rui Wang and Hao Wang and Xiaojun Wu and Zhongshen Zeng and Chongpei Chen},
  title     = {Fengshenbang 1.0: Being the Foundation of Chinese Cognitive Intelligence},
  journal   = {CoRR},
  volume    = {abs/2209.02970},
  year      = {2022}
}

也可以引用我們的網站：

@misc{Fengshenbang-LM,
  title={Fengshenbang-LM},
  author={IDEA-CCNL},
  year={2021},
  howpublished={\url{https://github.com/IDEA-CCNL/Fengshenbang-LM}},
}