Randeng Pegasus 523M Summary Chinese V1

🚀 燃灯-飞马-523M-摘要-中文-V1

本模型是中文版的PAGASUS-large，善于处理摘要任务，在多个中文摘要数据集上进行了微调，能为中文文本摘要任务提供高效解决方案。

🚀 快速开始

本模型是基于Transformer架构的预训练模型，可用于中文文本摘要任务。以下是使用示例：

from transformers import PegasusForConditionalGeneration
# 需要提前从风神榜模型库的GitHub仓库下载tokenizers_pegasus.py和其他Python脚本，
# 或者你可以从https://huggingface.co/IDEA-CCNL/Randeng_Pegasus_523M/tree/main下载tokenizers_pegasus.py和data_utils.py
# 强烈建议你克隆风神榜模型库的仓库：
# 1. git clone https://github.com/IDEA-CCNL/Fengshenbang-LM
# 2. cd Fengshenbang-LM/fengshen/examples/pegasus/
# 然后你就会看到飞马模型所需的tokenizers_pegasus.py和data_utils.py

from tokenizers_pegasus import PegasusTokenizer

model = PegasusForConditionalGeneration.from_pretrained("IDEA-CCNL/Randeng-Pegasus-523M-Summary-Chinese-V1")
tokenizer = PegasusTokenizer.from_pretrained("IDEA-CCNL/Randeng-Pegasus-523M-Summary-Chinese-V1")

text = "在北京冬奥会自由式滑雪女子坡面障碍技巧决赛中，中国选手谷爱凌夺得银牌。祝贺谷爱凌！今天上午，自由式滑雪女子坡面障碍技巧决赛举行。决赛分三轮进行，取选手最佳成绩排名决出奖牌。第一跳，中国选手谷爱凌获得69.90分。在12位选手中排名第三。完成动作后，谷爱凌又扮了个鬼脸，甚是可爱。第二轮中，谷爱凌在道具区第三个障碍处失误，落地时摔倒。获得16.98分。网友：摔倒了也没关系，继续加油！在第二跳失误摔倒的情况下，谷爱凌顶住压力，第三跳稳稳发挥，流畅落地！获得86.23分！此轮比赛，共12位选手参赛，谷爱凌第10位出场。网友：看比赛时我比谷爱凌紧张，加油！"
inputs = tokenizer(text, max_length=1024, return_tensors="pt")

# 生成摘要
summary_ids = model.generate(inputs["input_ids"])
tokenizer.batch_decode(summary_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]

# 模型输出：自由式滑雪女子坡面障碍技巧决赛谷爱凌摘银

✨ 主要特性

• 专为中文文本摘要任务设计，在多个中文摘要数据集上微调，能更好地适应中文语境。
• 在不损伤下游指标的情况下，提升了摘要对原文的忠实度。

📦 安装指南

使用前需要安装必要的依赖库，你可以通过以下命令安装：

pip install transformers

同时，需要提前从风神榜模型库的GitHub仓库下载tokenizers_pegasus.py和其他Python脚本，或者从这里下载tokenizers_pegasus.py和data_utils.py。强烈建议克隆风神榜模型库的仓库：

git clone https://github.com/IDEA-CCNL/Fengshenbang-LM
cd Fengshenbang-LM/fengshen/examples/pegasus/

💻 使用示例

基础用法

from transformers import PegasusForConditionalGeneration
# 需要提前从风神榜模型库的GitHub仓库下载tokenizers_pegasus.py和其他Python脚本，
# 或者你可以从https://huggingface.co/IDEA-CCNL/Randeng_Pegasus_523M/tree/main下载tokenizers_pegasus.py和data_utils.py
# 强烈建议你克隆风神榜模型库的仓库：
# 1. git clone https://github.com/IDEA-CCNL/Fengshenbang-LM
# 2. cd Fengshenbang-LM/fengshen/examples/pegasus/
# 然后你就会看到飞马模型所需的tokenizers_pegasus.py和data_utils.py

from tokenizers_pegasus import PegasusTokenizer

model = PegasusForConditionalGeneration.from_pretrained("IDEA-CCNL/Randeng-Pegasus-523M-Summary-Chinese-V1")
tokenizer = PegasusTokenizer.from_pretrained("IDEA-CCNL/Randeng-Pegasus-523M-Summary-Chinese-V1")

text = "在北京冬奥会自由式滑雪女子坡面障碍技巧决赛中，中国选手谷爱凌夺得银牌。祝贺谷爱凌！今天上午，自由式滑雪女子坡面障碍技巧决赛举行。决赛分三轮进行，取选手最佳成绩排名决出奖牌。第一跳，中国选手谷爱凌获得69.90分。在12位选手中排名第三。完成动作后，谷爱凌又扮了个鬼脸，甚是可爱。第二轮中，谷爱凌在道具区第三个障碍处失误，落地时摔倒。获得16.98分。网友：摔倒了也没关系，继续加油！在第二跳失误摔倒的情况下，谷爱凌顶住压力，第三跳稳稳发挥，流畅落地！获得86.23分！此轮比赛，共12位选手参赛，谷爱凌第10位出场。网友：看比赛时我比谷爱凌紧张，加油！"
inputs = tokenizer(text, max_length=1024, return_tensors="pt")

# 生成摘要
summary_ids = model.generate(inputs["input_ids"])
tokenizer.batch_decode(summary_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]

# 模型输出：自由式滑雪女子坡面障碍技巧决赛谷爱凌摘银

📚 详细文档

• Github：Fengshenbang-LM
• Docs：Fengshenbang-Docs

🔧 技术细节

模型分类

模型信息

参考论文：PEGASUS: Pre-training with Extracted Gap-sentences for Abstractive Summarization

基于Randeng-Pegasus-523M-Chinese，我们在收集的7个中文领域的文本摘要数据集（约4M个样本），使用实体过滤后数据集（约1.8M）重新微调，在不损伤下游指标的情况下提升了摘要对原文的忠实度，得到了summary-v1版本。这7个数据集为：education, new2016zh, nlpcc, shence, sohu, thucnews和weibo。

下游效果

📄 许可证

如果你在工作中使用了我们的模型，可以引用我们的论文：

@article{fengshenbang,
  author    = {Jiaxing Zhang and Ruyi Gan and Junjie Wang and Yuxiang Zhang and Lin Zhang and Ping Yang and Xinyu Gao and Ziwei Wu and Xiaoqun Dong and Junqing He and Jianheng Zhuo and Qi Yang and Yongfeng Huang and Xiayu Li and Yanghan Wu and Junyu Lu and Xinyu Zhu and Weifeng Chen and Ting Han and Kunhao Pan and Rui Wang and Hao Wang and Xiaojun Wu and Zhongshen Zeng and Chongpei Chen},
  title     = {Fengshenbang 1.0: Being the Foundation of Chinese Cognitive Intelligence},
  journal   = {CoRR},
  volume    = {abs/2209.02970},
  year      = {2022}
}

也可以引用我们的网站：

@misc{Fengshenbang-LM,
  title={Fengshenbang-LM},
  author={IDEA-CCNL},
  year={2021},
  howpublished={\url{https://github.com/IDEA-CCNL/Fengshenbang-LM}},
}