Pegasus Arxiv

🚀 Pegasus模型

Pegasus模型主要用於文本摘要任務，通過在不同數據集上的訓練和優化，為文本摘要提供了有效的解決方案。它在多種數據集上都有不錯的表現，並且通過混合與隨機訓練的方式進一步提升了性能。

🚀 快速開始

• 查看文檔：點擊此處
• 原始TF 1代碼：點擊此處

✨ 主要特性

混合與隨機檢查點

我們在C4和HugeNews數據集上，以採樣的間隔句子比率訓練了一個Pegasus模型，並隨機採樣重要句子。更新後的結果如下表所示：

“混合與隨機”模型的改動

• 在C4和HugeNews兩個數據集上進行訓練（數據集混合按示例數量加權）。
• 訓練步數從50萬步增加到150萬步（我們觀察到預訓練困惑度的收斂速度較慢）。
• 模型在15%到45%之間均勻採樣間隔句子比率。
• 使用20%的均勻噪聲對重要性得分進行採樣來選取重要句子。
• 更新了SentencePiece分詞器，使其能夠對換行符進行編碼。

特殊說明

(*) wikihow和big_patent數據集的數值由於分詞和數據的變化而不可比：

• wikihow數據集包含換行符，這對段落分割很有用，但C4和HugeNews模型的SentencePiece分詞器無法對換行符進行編碼，從而丟失了這一信息。
• 我們更新了BigPatent數據集以保留大小寫，同時也改變了一些格式清理方式，請參考TFDS中的更改。

與論文中pegasus - large模型的對比

• 在C4和HugeNews兩個數據集上進行訓練（數據集混合按示例數量加權）。
• 訓練步數從50萬步增加到150萬步（我們觀察到預訓練困惑度的收斂速度較慢）。
• 模型在15%到45%之間均勻採樣間隔句子比率。
• 使用20%的均勻噪聲對重要性得分進行採樣來選取重要句子。
• 更新了SentencePiece分詞器，使其能夠對換行符進行編碼。

📄 許可證

引用

@misc{zhang2019pegasus,
    title={PEGASUS: Pre-training with Extracted Gap-sentences for Abstractive Summarization},
    author={Jingqing Zhang and Yao Zhao and Mohammad Saleh and Peter J. Liu},
    year={2019},
    eprint={1912.08777},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

作者信息

• 作者：Jingqing Zhang、Yao Zhao、Mohammad Saleh和Peter J. Liu（2019年12月18日）
• 維護者：@sshleifer
• 任務：文本摘要