Pegasus Xsum

🚀 Google Pegasus-XSum 文本摘要模型

Google Pegasus-XSum 是一款专注于文本摘要任务的模型，它通过在大规模数据集上的训练，能够高效且准确地生成文本摘要，为信息提取和内容概括提供了强大的支持。

📚 详细文档

Pegasus 模型

• 文档说明：点击查看
• 原始 TF 1 代码：点击查看
• 作者：Jingqing Zhang、Yao Zhao、Mohammad Saleh 和 Peter J. Liu 于 2019 年 12 月 18 日发布
• 维护者：@sshleifer
• 任务：文本摘要

模型指标

以下是该模型在不同数据集上的评估指标：

samsum 数据集（训练集）

xsum 数据集（测试集）

cnn_dailymail 数据集（测试集）

混合与随机检查点

我们在 C4 和 HugeNews 上以采样的间隔句比例训练了一个 Pegasus 模型，并随机采样重要句子。更新后的结果如下表所示：

“混合与随机”模型有以下更改：

• 在 C4 和 HugeNews 上进行训练（数据集混合按示例数量加权）。
• 训练步数从 50 万增加到 150 万（我们观察到预训练困惑度收敛较慢）。
• 模型在 15% 到 45% 之间均匀采样间隔句比例。
• 使用 20% 的均匀噪声对重要句子的重要性得分进行采样。
• 更新了 SentencePiece 分词器，使其能够对换行符进行编码。

(*) wikihow 和 big_patent 数据集的指标由于分词和数据的变化而不可比：

• wikihow 数据集包含对段落分割有用的换行符，C4 和 HugeNews 模型的 SentencePiece 分词器无法对换行符进行编码，从而丢失了这一信息。
• 我们更新了 BigPatent 数据集以保留大小写，同时也更改了一些格式清理操作，请参考 TFDS 中的更改。

引用

@misc{zhang2019pegasus,
    title={PEGASUS: Pre-training with Extracted Gap-sentences for Abstractive Summarization},
    author={Jingqing Zhang and Yao Zhao and Mohammad Saleh and Peter J. Liu},
    year={2019},
    eprint={1912.08777},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}