Pegasus Newsroom

🚀 Pegasusモデル

Pegasusモデルは、要約タスクに特化したモデルです。このモデルに関する詳細なドキュメントやオリジナルのコードなどを提供しています。

関連リンク

• ドキュメント: こちら
• オリジナルのTF 1コード: こちら

著者情報

• 著者: Jingqing Zhang, Yao Zhao, Mohammad Saleh and Peter J. Liu（2019年12月18日）
• メンテナンス: @sshleifer

タスク

要約

以下は著者のREADMEからコピーした内容です。

📊 混合と確率的チェックポイント

我々は、C4とHugeNewsの両方のデータセットで、ギャップ文比率をサンプリングしてPegasusモデルを学習させ、重要な文を確率的にサンプリングしました。更新された結果は以下の表に報告されています。

「混合と確率的」モデルには以下の変更があります。

• C4とHugeNewsの両方で学習（データセットの混合はサンプル数で重み付け）。
• 500kではなく150万ステップ学習（事前学習のパープレキシティの収束が遅いことを観察）。
• モデルは15％から45％の間でギャップ文比率を均一にサンプリング。
• 重要文は重要度スコアに20％の均一ノイズを加えてサンプリング。
• sentencepieceトークナイザを更新して改行文字をエンコードできるように。

(*) wikihowとbig_patentデータセットの数値は、トークン化とデータの変更のため比較できません。

• wikihowデータセットには段落分割に役立つ改行文字が含まれていますが、C4とHugeNewsモデルのsentencepieceトークナイザは改行をエンコードせず、この情報を失います。
• BigPatentデータセットを更新して大文字小文字を保持し、一部のフォーマットクリーニングも変更しました。詳細はTFDSの変更を参照してください。

「混合と確率的」モデルには（論文のpegasus-largeから）以下の変更があります。

C4とHugeNewsの両方で学習（データセットの混合はサンプル数で重み付け）。 500kではなく150万ステップ学習（事前学習のパープレキシティの収束が遅いことを観察）。 モデルは15％から45％の間でギャップ文比率を均一にサンプリング。 重要文は重要度スコアに20％の均一ノイズを加えてサンプリング。 sentencepieceトークナイザを更新して改行文字をエンコードできるように。

引用

@misc{zhang2019pegasus,
    title={PEGASUS: Pre-training with Extracted Gap-sentences for Abstractive Summarization},
    author={Jingqing Zhang and Yao Zhao and Mohammad Saleh and Peter J. Liu},
    year={2019},
    eprint={1912.08777},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}