Pegasus Reddit Tifu

🚀 Pegasus模型

Pegasus模型主要用于文本摘要任务，它在多种数据集上进行训练并取得了不错的效果。通过特定的训练策略和模型调整，能有效提升文本摘要的质量。

🚀 快速开始

• 查看文档：点击此处
• 原始TF 1代码：点击此处

✨ 主要特性

作者信息

• 作者：Jingqing Zhang、Yao Zhao、Mohammad Saleh和Peter J. Liu 于2019年12月18日发布。
• 维护者：@sshleifer

任务类型

文本摘要

📚 详细文档

混合与随机检查点

我们在C4和HugeNews数据集上，以采样的间隔句子比率训练了一个Pegasus模型，并随机采样重要句子。更新后的结果如下表所示：

“混合与随机”模型有以下更改：

• 在C4和HugeNews两个数据集上进行训练（数据集混合按示例数量加权）。
• 训练步数为150万步，而非50万步（我们观察到预训练困惑度收敛较慢）。
• 模型在15%到45%之间均匀采样间隔句子比率。
• 使用20%的均匀噪声对重要性得分进行采样以选取重要句子。
• 更新了SentencePiece分词器，使其能够对换行符进行编码。

(*) 由于分词和数据的变化，wikihow和big_patent数据集的数字不可比：

• wikihow数据集包含换行符，这对段落分割很有用，而C4和HugeNews模型的SentencePiece分词器无法对换行符进行编码，从而丢失了这一信息。
• 我们更新了BigPatent数据集以保留大小写，同时也更改了一些格式清理操作，请参考TFDS中的更改。

“混合与随机”模型相对于论文中的pegasus-large有以下更改：

• 在C4和HugeNews两个数据集上进行训练（数据集混合按示例数量加权）。
• 训练步数为150万步，而非50万步（我们观察到预训练困惑度收敛较慢）。
• 模型在15%到45%之间均匀采样间隔句子比率。
• 使用20%的均匀噪声对重要性得分进行采样以选取重要句子。
• 更新了SentencePiece分词器，使其能够对换行符进行编码。

引用

@misc{zhang2019pegasus,
    title={PEGASUS: Pre-training with Extracted Gap-sentences for Abstractive Summarization},
    author={Jingqing Zhang and Yao Zhao and Mohammad Saleh and Peter J. Liu},
    year={2019},
    eprint={1912.08777},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}