distill-pegasus-xsum-16-4開源摘要模型 - 免費實現高質量文本摘要生成

首頁

Distill Pegasus Xsum 16 4

由sshleifer開發

PEGASUS是一種基於抽取間隔句子的抽象摘要預訓練模型，由Google Research團隊開發。

文本生成

Transformers

英語#混合數據集預訓練 #動態間隔句子採樣 #抽象摘要生成

下載量 137

發布時間 : 3/2/2022

模型概述

PEGASUS是一種專門用於文本摘要生成的預訓練模型，通過抽取重要句子進行抽象摘要。

模型特點

混合與隨機化訓練

同時在C4和HugeNews數據集上訓練，採用隨機採樣間隔句子比例和重要性句子添加噪聲的方式。

多數據集適配

支持多種摘要數據集，包括xsum、cnn_dailymail、newsroom等。

分詞器優化

更新了SentencePiece分詞器以支持編碼換行符，提升對段落分割的處理能力。

模型能力

文本摘要生成

多語言支持

抽象摘要

使用案例

新聞摘要

新聞文章摘要

對新聞文章進行自動摘要生成

在cnn_dailymail數據集上達到44.16/21.56/41.30的ROUGE分數

學術論文摘要

對arXiv和PubMed等學術論文進行摘要生成

在arxiv數據集上達到44.21/16.95/25.67的ROUGE分數

法律文檔摘要

對法律文檔如BigPatent進行摘要生成

在big_patent數據集上達到52.29/33.08/41.66的ROUGE分數

🚀 Pegasus模型

Pegasus模型主要用於文本摘要任務，它在不同數據集上進行訓練和優化，能為文本摘要提供有效的解決方案。

🚀 快速開始

查看文檔：點擊此處
原始TF 1代碼：點擊此處

✨ 主要特性

模型信息

作者：Jingqing Zhang、Yao Zhao、Mohammad Saleh和Peter J. Liu（2019年12月18日）
維護者：@sshleifer
任務：文本摘要

混合與隨機檢查點模型

實驗結果

數據集	C4	HugeNews	混合與隨機模型
xsum	45.20/22.06/36.99	47.21/24.56/39.25	47.60/24.83/39.64
cnn_dailymail	43.90/21.20/40.76	44.17/21.47/41.11	44.16/21.56/41.30
newsroom	45.07/33.39/41.28	45.15/33.51/41.33	45.98/34.20/42.18
multi_news	46.74/17.95/24.26	47.52/18.72/24.91	47.65/18.75/24.95
gigaword	38.75/19.96/36.14	39.12/19.86/36.24	39.65/20.47/36.76
wikihow	43.07/19.70/34.79	41.35/18.51/33.42	46.39/22.12/38.41 *
reddit_tifu	26.54/8.94/21.64	26.63/9.01/21.60	27.99/9.81/22.94
big_patent	53.63/33.16/42.25	53.41/32.89/42.07	52.29/33.08/41.66 *
arxiv	44.70/17.27/25.80	44.67/17.18/25.73	44.21/16.95/25.67
pubmed	45.49/19.90/27.69	45.09/19.56/27.42	45.97/20.15/28.25
aeslc	37.69/21.85/36.84	37.40/21.22/36.45	37.68/21.25/36.51
billsum	57.20/39.56/45.80	57.31/40.19/45.82	59.67/41.58/47.59

模型變化

在C4和HugeNews兩個數據集上進行訓練（數據集混合時按示例數量加權）。
訓練步數從500k增加到1500k（預訓練困惑度收斂較慢）。
模型在15%到45%之間均勻採樣間隔句子比例。
重要句子採樣時，對重要性得分添加20%的均勻噪聲。
更新了SentencePiece分詞器，使其能夠對換行符進行編碼。

特殊說明

(*) wikihow和big_patent數據集的結果由於分詞和數據的變化而不可比：

wikihow數據集包含換行符，這對段落分割很有用，但C4和HugeNews模型的SentencePiece分詞器無法對換行符進行編碼，丟失了這部分信息。
更新了BigPatent數據集以保留大小寫，同時也改變了一些格式清理操作，請參考TFDS中的更改。

📄 許可證

引用信息

@misc{zhang2019pegasus,
    title={PEGASUS: Pre-training with Extracted Gap-sentences for Abstractive Summarization},
    author={Jingqing Zhang and Yao Zhao and Mohammad Saleh and Peter J. Liu},
    year={2019},
    eprint={1912.08777},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}