Pegasus Large

🚀 Pegasus模型

Pegasus模型是用於文本摘要任務的模型。它在不同數據集上進行訓練，並取得了不錯的效果。本項目提供了模型的相關文檔、原始代碼，還展示了不同訓練方式下模型在多個數據集上的表現。

🚀 快速開始

• 查看文檔：點擊此處
• 原始TF 1代碼：點擊此處

✨ 主要特性

模型信息

• 作者：Jingqing Zhang、Yao Zhao、Mohammad Saleh和Peter J. Liu （2019年12月18日）
• 維護者：@sshleifer
• 任務：文本摘要

混合隨機檢查點模型

• 該模型在C4和HugeNews兩個數據集上訓練，採樣間隔句比例，並隨機採樣重要句子。
• 與其他模型相比，在多個數據集上有不同程度的性能提升，具體數據如下表所示：

模型改動說明

• 訓練數據集：在C4和HugeNews兩個數據集上訓練，數據集混合按示例數量加權。
• 訓練步數：訓練150萬步，而非原來的50萬步，預訓練困惑度收斂較慢。
• 間隔句比例：模型在15% - 45%之間均勻採樣間隔句比例。
• 重要句子採樣：使用20%的均勻噪聲對重要性得分進行重要句子採樣。
• 分詞器更新：更新了SentencePiece分詞器，使其能夠對換行符進行編碼。

特殊說明

• (*) wikihow和big_patent數據集的結果由於分詞和數據的變化不可比：
  • wikihow數據集包含換行符，對段落分割有用，但C4和HugeNews模型的SentencePiece分詞器無法編碼換行符，丟失了該信息。
  • BigPatent數據集更新以保留大小寫，部分格式清理也有變化，具體請參考TFDS的更改。

📄 許可證

引用

@misc{zhang2019pegasus,
    title={PEGASUS: Pre-training with Extracted Gap-sentences for Abstractive Summarization},
    author={Jingqing Zhang and Yao Zhao and Mohammad Saleh and Peter J. Liu},
    year={2019},
    eprint={1912.08777},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}