Pegasus Aeslc

🚀 Pegasus模型

Pegasus模型主要用于文本摘要任务，它基于特定的训练策略和数据集训练，在多个文本摘要数据集上表现出色，为文本摘要领域提供了有效的解决方案。

🚀 快速开始

查看文档：点击此处

原始TF 1代码：点击此处

作者：Jingqing Zhang、Yao Zhao、Mohammad Saleh和Peter J. Liu ，发布于2019年12月18日

维护者：@sshleifer

任务：文本摘要

以下内容摘自作者的README。

📚 详细文档

混合与随机检查点

我们在C4和HugeNews数据集上，以采样的间隔句比例训练了一个Pegasus模型，并随机采样重要句子。更新后的结果如下表所示：

“混合与随机”模型有以下更改：

• 在C4和HugeNews两个数据集上进行训练（数据集混合按示例数量加权）。
• 训练步数为150万步，而非50万步（我们观察到预训练困惑度的收敛速度较慢）。
• 模型在15%到45%之间均匀采样间隔句比例。
• 使用20%的均匀噪声对重要性得分进行重要句子采样。
• 更新了SentencePiece分词器，使其能够对换行符进行编码。

(*) wikihow和big_patent数据集的数值不可比，原因在于分词和数据的变化：

• wikihow数据集包含换行符，这对段落分割很有用，而C4和HugeNews模型的SentencePiece分词器无法对换行符进行编码，从而丢失了这一信息。
• 我们更新了BigPatent数据集以保留大小写，同时也更改了一些格式清理操作，请参考TFDS中的更改。

“混合与随机”模型（相对于论文中的pegasus-large）有以下更改：

• 在C4和HugeNews两个数据集上进行训练（数据集混合按示例数量加权）。
• 训练步数为150万步，而非50万步（我们观察到预训练困惑度的收敛速度较慢）。
• 模型在15%到45%之间均匀采样间隔句比例。
• 使用20%的均匀噪声对重要性得分进行重要句子采样。
• 更新了SentencePiece分词器，使其能够对换行符进行编码。

引用

@misc{zhang2019pegasus,
    title={PEGASUS: Pre-training with Extracted Gap-sentences for Abstractive Summarization},
    author={Jingqing Zhang and Yao Zhao and Mohammad Saleh and Peter J. Liu},
    year={2019},
    eprint={1912.08777},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}