Summarization

🚀 Copy-or-Rewrite

このリポジトリには、論文「Copy or Rewrite: Hybrid Summarization with Hierarchical Reinforcement Learning」のコードが含まれています。このモデルは、人間に近い要約タスクのために構築され、Actor-critic Reinforcement Learningで学習されました。この研究により、CNN/DMデータセットでのROUGEスコアが1.7向上し、生成された要約の情報性と読みやすさが向上しました。また、要約タスクにおける情報損失の問題を解決する、より人間に近いワークフローを実装しています。このモデルには、単語レベルと文レベルの両方で記事を表現する新しい階層的トランスフォーマーモジュールと、2段階モデルを効果的に学習できる新しい強化学習手法が含まれています。

🚀 クイックスタート

このリポジトリを使用することで、入力された記事に対して情報量が多く簡潔な要約を生成することができます。他のタスクでは、階層的表現モジュールを使用して記事を効果的に表現することができます。モデルのパラメータはCNN/DMデータセットで事前学習されています。必要に応じて、独自のデータセットで微調整する必要があるかもしれません。

✨ 主な機能

Copy-or-Rewriteは、要約モデルのワークフローを改善するモデルです。抽出→抽象化の戦略を採用した既存の方法は印象的な結果を達成していますが、抽象化のステップで情報が失われる問題があります。これは、選択されたすべての文を区別せずに圧縮するためです。特に、文全体が要約に値する場合、圧縮によって重要な内容が失われることがあります。この問題を解決するために、我々はHYSUMというハイブリッドフレームワークを提案します。このフレームワークは、冗長度に応じて文のコピーと文の書き換えを柔軟に切り替えることができます。これにより、我々のアプローチは要約の2つの分野の利点を効果的に組み合わせ、情報性と簡潔さのバランスを取ることができます。さらに、階層的強化学習に基づいて、抽出モジュールと書き換えモジュールをつなぐエンドツーエンドの強化手法を提案し、それらの間の協力を強化することができます。自動評価によると、我々のアプローチはCNN/DailyMailコーパスで最先端の手法を大きく上回っています。人間による評価も、我々が生成した要約が人気のあるモデルよりも情報量が多く簡潔であることを示しています。

📦 インストール

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("LiqiangXiao/summarization")

model = AutoModelForSeq2SeqLM.from_pretrained("LiqiangXiao/summarization")

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("LiqiangXiao/summarization")

model = AutoModelForSeq2SeqLM.from_pretrained("LiqiangXiao/summarization")

📚 ドキュメント

想定される用途と制限

このリポジトリを使用することで、入力された記事に対して情報量が多く簡潔な要約を生成することができます。他のタスクでは、階層的表現モジュールを使用して記事を効果的に表現することができます。モデルのパラメータはCNN/DMデータセットで事前学習されています。必要に応じて、独自のデータセットで微調整する必要があるかもしれません。

学習データ

このモデルは、CNN/Daily Mailデータセットの非匿名版を使用しています。

BibTeXエントリと引用情報

@inproceedings{DBLP:conf/aaai/XiaoWHJ20,
  author    = {Liqiang Xiao and
               Lu Wang and
               Hao He and
               Yaohui Jin},
  title     = {Copy or Rewrite: Hybrid Summarization with Hierarchical Reinforcement
               Learning},
  booktitle = {The Thirty-Fourth {AAAI} Conference on Artificial Intelligence, {AAAI}
               2020, The Thirty-Second Innovative Applications of Artificial Intelligence
               Conference, {IAAI} 2020, The Tenth {AAAI} Symposium on Educational
               Advances in Artificial Intelligence, {EAAI} 2020, New York, NY, USA,
               February 7-12, 2020},
  pages     = {9306--9313},
  publisher = {{AAAI} Press},
  year      = {2020},
  url       = {https://aaai.org/ojs/index.php/AAAI/article/view/6470},
  timestamp = {Tue, 02 Feb 2021 08:00:14 +0100},
  biburl    = {https://dblp.org/rec/conf/aaai/XiaoWHJ20.bib},
  bibsource = {dblp computer science bibliography, https://dblp.org}
}

📄 ライセンス

READMEにはライセンス情報が記載されていないため、このセクションは表示されません。