Summarization

🚀 複製或重寫

本倉庫包含論文“Copy or Rewrite: Hybrid Summarization with Hierarchical Reinforcement Learning”的代碼。這是一個為類人摘要任務構建的模型，並使用演員 - 評論家強化學習進行訓練。這項工作使CNN/DM數據集上的ROUGE分數顯著提高了1.7，同時增強了生成摘要的信息性和可讀性。它為摘要任務實現了一種更類人的工作流程，解決了信息丟失的問題。該模型包含一個新穎的分層Transformer模塊，可在單詞和句子級別表示文章，以及一種能有效訓練兩步模型的新型強化學習方法。

🚀 快速開始

你可以使用本倉庫為輸入文章生成信息豐富且簡潔的摘要。對於其他任務，你可以使用分層表示模塊來有效表示文章。模型的參數在CNN/DM數據集上進行了預訓練。如有需要，你可能需要在自己的數據集上對其進行微調。

✨ 主要特性

• 提出了HYSUM，這是一種混合摘要框架，可根據冗餘程度在複製句子和重寫句子之間靈活切換，有效結合了摘要兩個分支的優點，兼顧了信息性和簡潔性。
• 基於分層強化學習，提出了一種端到端的強化方法，將提取模塊和重寫模塊連接在一起，增強了它們之間的協作。
• 自動評估顯示，該方法在CNN/DailyMail語料庫上顯著優於現有技術。人工評估也表明，生成的摘要比流行模型更具信息性和簡潔性。

📦 安裝指南

暫未提供安裝步驟相關內容。

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("LiqiangXiao/summarization")

model = AutoModelForSeq2SeqLM.from_pretrained("LiqiangXiao/summarization")

📚 詳細文檔

Copy-or-Rewrite是一個用於改進摘要模型工作流程的模型。現有的採用先提取後抽象策略的方法取得了令人印象深刻的結果，但它們在抽象步驟中存在信息丟失的問題，因為它們在不區分的情況下壓縮所有選定的句子。特別是當整個句子值得作為摘要時，壓縮會導致重要內容丟失。為了解決這個問題，我們提出了HYSUM，一種混合摘要框架，它可以根據冗餘程度在複製句子和重寫句子之間靈活切換。通過這種方式，我們的方法可以有效地結合摘要兩個分支的優點，兼顧信息性和簡潔性。此外，我們基於分層強化學習，提出了一種端到端的強化方法，將提取模塊和重寫模塊連接在一起，增強了它們之間的協作。

📄 許可證

暫未提供許可證相關內容。

📦 訓練數據

該模型使用了非匿名版本的CNN/Daily Mail數據集。

📚 BibTeX引用

@inproceedings{DBLP:conf/aaai/XiaoWHJ20,
  author    = {Liqiang Xiao and
               Lu Wang and
               Hao He and
               Yaohui Jin},
  title     = {Copy or Rewrite: Hybrid Summarization with Hierarchical Reinforcement
               Learning},
  booktitle = {The Thirty-Fourth {AAAI} Conference on Artificial Intelligence, {AAAI}
               2020, The Thirty-Second Innovative Applications of Artificial Intelligence
               Conference, {IAAI} 2020, The Tenth {AAAI} Symposium on Educational
               Advances in Artificial Intelligence, {EAAI} 2020, New York, NY, USA,
               February 7-12, 2020},
  pages     = {9306--9313},
  publisher = {{AAAI} Press},
  year      = {2020},
  url       = {https://aaai.org/ojs/index.php/AAAI/article/view/6470},
  timestamp = {Tue, 02 Feb 2021 08:00:14 +0100},
  biburl    = {https://dblp.org/rec/conf/aaai/XiaoWHJ20.bib},
  bibsource = {dblp computer science bibliography, https://dblp.org}
}