Pegasus Xsum

🚀 Google Pegasus-XSum 文本摘要模型

Google Pegasus-XSum 是一款專注於文本摘要任務的模型，它通過在大規模數據集上的訓練，能夠高效且準確地生成文本摘要，為信息提取和內容概括提供了強大的支持。

📚 詳細文檔

Pegasus 模型

• 文檔說明：點擊查看
• 原始 TF 1 代碼：點擊查看
• 作者：Jingqing Zhang、Yao Zhao、Mohammad Saleh 和 Peter J. Liu 於 2019 年 12 月 18 日發佈
• 維護者：@sshleifer
• 任務：文本摘要

模型指標

以下是該模型在不同數據集上的評估指標：

samsum 數據集（訓練集）

xsum 數據集（測試集）

cnn_dailymail 數據集（測試集）

混合與隨機檢查點

我們在 C4 和 HugeNews 上以採樣的間隔句比例訓練了一個 Pegasus 模型，並隨機採樣重要句子。更新後的結果如下表所示：

“混合與隨機”模型有以下更改：

• 在 C4 和 HugeNews 上進行訓練（數據集混合按示例數量加權）。
• 訓練步數從 50 萬增加到 150 萬（我們觀察到預訓練困惑度收斂較慢）。
• 模型在 15% 到 45% 之間均勻採樣間隔句比例。
• 使用 20% 的均勻噪聲對重要句子的重要性得分進行採樣。
• 更新了 SentencePiece 分詞器，使其能夠對換行符進行編碼。

(*) wikihow 和 big_patent 數據集的指標由於分詞和數據的變化而不可比：

• wikihow 數據集包含對段落分割有用的換行符，C4 和 HugeNews 模型的 SentencePiece 分詞器無法對換行符進行編碼，從而丟失了這一信息。
• 我們更新了 BigPatent 數據集以保留大小寫，同時也更改了一些格式清理操作，請參考 TFDS 中的更改。

引用

@misc{zhang2019pegasus,
    title={PEGASUS: Pre-training with Extracted Gap-sentences for Abstractive Summarization},
    author={Jingqing Zhang and Yao Zhao and Mohammad Saleh and Peter J. Liu},
    year={2019},
    eprint={1912.08777},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}