Pegasus Billsum

🚀 Pegasus模型

Pegasus模型主要用於文本摘要任務，它基於特定的訓練策略和數據集訓練，在多個文本摘要數據集上取得了不錯的效果。

🚀 快速開始

• 查看文檔：點擊這裡
• 原始TF 1代碼：點擊這裡

✨ 主要特性

模型信息

混合與隨機檢查點模型

模型訓練差異

“混合與隨機”（Mixed & Stochastic）模型相較於普通模型有以下改變：

• 在C4和HugeNews兩個數據集上進行訓練（數據集混合時按示例數量加權）。
• 訓練步數從500k增加到1.5M（預訓練困惑度收斂較慢）。
• 模型均勻採樣15% - 45%的間隔句子比例。
• 重要句子採樣時對重要性得分添加20%的均勻噪聲。
• 更新了SentencePiece分詞器，使其能夠對換行符進行編碼。

實驗結果

⚠️ 重要提示

wikihow和big_patent數據集的結果不可比，因為分詞和數據發生了變化：

• wikihow數據集包含換行符，這對段落分割很有用，但C4和HugeNews模型的SentencePiece分詞器無法對換行符進行編碼，導致信息丟失。
• 我們更新了BigPatent數據集以保留大小寫，同時也改變了一些格式清理操作，具體請參考TFDS的更改。

📄 許可證

引用

@misc{zhang2019pegasus,
    title={PEGASUS: Pre-training with Extracted Gap-sentences for Abstractive Summarization},
    author={Jingqing Zhang and Yao Zhao and Mohammad Saleh and Peter J. Liu},
    year={2019},
    eprint={1912.08777},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}