Summarization

🚀 复制或重写

本仓库包含论文“Copy or Rewrite: Hybrid Summarization with Hierarchical Reinforcement Learning”的代码。这是一个为类人摘要任务构建的模型，并使用演员 - 评论家强化学习进行训练。这项工作使CNN/DM数据集上的ROUGE分数显著提高了1.7，同时增强了生成摘要的信息性和可读性。它为摘要任务实现了一种更类人的工作流程，解决了信息丢失的问题。该模型包含一个新颖的分层Transformer模块，可在单词和句子级别表示文章，以及一种能有效训练两步模型的新型强化学习方法。

🚀 快速开始

你可以使用本仓库为输入文章生成信息丰富且简洁的摘要。对于其他任务，你可以使用分层表示模块来有效表示文章。模型的参数在CNN/DM数据集上进行了预训练。如有需要，你可能需要在自己的数据集上对其进行微调。

✨ 主要特性

• 提出了HYSUM，这是一种混合摘要框架，可根据冗余程度在复制句子和重写句子之间灵活切换，有效结合了摘要两个分支的优点，兼顾了信息性和简洁性。
• 基于分层强化学习，提出了一种端到端的强化方法，将提取模块和重写模块连接在一起，增强了它们之间的协作。
• 自动评估显示，该方法在CNN/DailyMail语料库上显著优于现有技术。人工评估也表明，生成的摘要比流行模型更具信息性和简洁性。

📦 安装指南

暂未提供安装步骤相关内容。

💻 使用示例

基础用法

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("LiqiangXiao/summarization")

model = AutoModelForSeq2SeqLM.from_pretrained("LiqiangXiao/summarization")

📚 详细文档

Copy-or-Rewrite是一个用于改进摘要模型工作流程的模型。现有的采用先提取后抽象策略的方法取得了令人印象深刻的结果，但它们在抽象步骤中存在信息丢失的问题，因为它们在不区分的情况下压缩所有选定的句子。特别是当整个句子值得作为摘要时，压缩会导致重要内容丢失。为了解决这个问题，我们提出了HYSUM，一种混合摘要框架，它可以根据冗余程度在复制句子和重写句子之间灵活切换。通过这种方式，我们的方法可以有效地结合摘要两个分支的优点，兼顾信息性和简洁性。此外，我们基于分层强化学习，提出了一种端到端的强化方法，将提取模块和重写模块连接在一起，增强了它们之间的协作。

📄 许可证

暂未提供许可证相关内容。

📦 训练数据

该模型使用了非匿名版本的CNN/Daily Mail数据集。

📚 BibTeX引用

@inproceedings{DBLP:conf/aaai/XiaoWHJ20,
  author    = {Liqiang Xiao and
               Lu Wang and
               Hao He and
               Yaohui Jin},
  title     = {Copy or Rewrite: Hybrid Summarization with Hierarchical Reinforcement
               Learning},
  booktitle = {The Thirty-Fourth {AAAI} Conference on Artificial Intelligence, {AAAI}
               2020, The Thirty-Second Innovative Applications of Artificial Intelligence
               Conference, {IAAI} 2020, The Tenth {AAAI} Symposium on Educational
               Advances in Artificial Intelligence, {EAAI} 2020, New York, NY, USA,
               February 7-12, 2020},
  pages     = {9306--9313},
  publisher = {{AAAI} Press},
  year      = {2020},
  url       = {https://aaai.org/ojs/index.php/AAAI/article/view/6470},
  timestamp = {Tue, 02 Feb 2021 08:00:14 +0100},
  biburl    = {https://dblp.org/rec/conf/aaai/XiaoWHJ20.bib},
  bibsource = {dblp computer science bibliography, https://dblp.org}
}