Pegasus Arxiv

🚀 Pegasus模型

Pegasus模型主要用于文本摘要任务，通过在不同数据集上的训练和优化，为文本摘要提供了有效的解决方案。它在多种数据集上都有不错的表现，并且通过混合与随机训练的方式进一步提升了性能。

🚀 快速开始

• 查看文档：点击此处
• 原始TF 1代码：点击此处

✨ 主要特性

混合与随机检查点

我们在C4和HugeNews数据集上，以采样的间隔句子比率训练了一个Pegasus模型，并随机采样重要句子。更新后的结果如下表所示：

“混合与随机”模型的改动

• 在C4和HugeNews两个数据集上进行训练（数据集混合按示例数量加权）。
• 训练步数从50万步增加到150万步（我们观察到预训练困惑度的收敛速度较慢）。
• 模型在15%到45%之间均匀采样间隔句子比率。
• 使用20%的均匀噪声对重要性得分进行采样来选取重要句子。
• 更新了SentencePiece分词器，使其能够对换行符进行编码。

特殊说明

(*) wikihow和big_patent数据集的数值由于分词和数据的变化而不可比：

• wikihow数据集包含换行符，这对段落分割很有用，但C4和HugeNews模型的SentencePiece分词器无法对换行符进行编码，从而丢失了这一信息。
• 我们更新了BigPatent数据集以保留大小写，同时也改变了一些格式清理方式，请参考TFDS中的更改。

与论文中pegasus - large模型的对比

• 在C4和HugeNews两个数据集上进行训练（数据集混合按示例数量加权）。
• 训练步数从50万步增加到150万步（我们观察到预训练困惑度的收敛速度较慢）。
• 模型在15%到45%之间均匀采样间隔句子比率。
• 使用20%的均匀噪声对重要性得分进行采样来选取重要句子。
• 更新了SentencePiece分词器，使其能够对换行符进行编码。

📄 许可证

引用

@misc{zhang2019pegasus,
    title={PEGASUS: Pre-training with Extracted Gap-sentences for Abstractive Summarization},
    author={Jingqing Zhang and Yao Zhao and Mohammad Saleh and Peter J. Liu},
    year={2019},
    eprint={1912.08777},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

作者信息

• 作者：Jingqing Zhang、Yao Zhao、Mohammad Saleh和Peter J. Liu（2019年12月18日）
• 维护者：@sshleifer
• 任务：文本摘要