Staging Pegasus Gmeetsamsum

🚀 Pegasusモデル

Pegasusは、要約タスクに特化したモデルです。このモデルに関する詳細なドキュメントやオリジナルのコードについては、以下のリンクから参照できます。

🚀 クイックスタート

• ドキュメント: こちら
• オリジナルのTF 1コード: こちら
• 著者: Jingqing Zhang, Yao Zhao, Mohammad Saleh, Peter J. Liu (2019年12月18日)
• メンテナ: @sshleifer
• タスク: 要約

以下の内容は、著者のREADMEから引用したものです。

📚 ドキュメント

混合と確率的チェックポイント

C4とHugeNewsの両方のデータセットで、ギャップ文の比率をサンプリングしてPegasusモデルを訓練し、重要な文を確率的にサンプリングしました。更新された結果を以下の表に示します。

「混合と確率的」モデルには、以下の変更があります。

• C4とHugeNewsの両方のデータセットで訓練（データセットの混合は、サンプル数で重み付けされます）。
• 500kではなく150万ステップ訓練（事前学習のパープレキシティの収束が遅いことが観察されました）。
• モデルは15％から45％の間でギャップ文の比率を均一にサンプリングします。
• 重要な文は、重要度スコアに20％の均一ノイズを加えてサンプリングされます。
• SentencePieceトークナイザーを更新して、改行文字をエンコードできるようにしました。

(*) wikihowとbig_patentのデータセットの数値は、トークン化とデータの変更のために比較できません。

• wikihowデータセットには、段落分割に役立つ改行文字が含まれていますが、C4とHugeNewsモデルのSentencePieceトークナイザーは改行文字をエンコードせず、この情報を失います。
• BigPatentデータセットを更新して大文字小文字を保持し、一部のフォーマットのクリーニングも変更しました。詳細はTFDSの変更を参照してください。

「混合と確率的」モデルには、（論文のpegasus-largeから）以下の変更があります。

• C4とHugeNewsの両方のデータセットで訓練（データセットの混合は、サンプル数で重み付けされます）。
• 500kではなく150万ステップ訓練（事前学習のパープレキシティの収束が遅いことが観察されました）。
• モデルは15％から45％の間でギャップ文の比率を均一にサンプリングします。
• 重要な文は、重要度スコアに20％の均一ノイズを加えてサンプリングされます。
• SentencePieceトークナイザーを更新して、改行文字をエンコードできるようにしました。

引用

@misc{zhang2019pegasus,
    title={PEGASUS: Pre-training with Extracted Gap-sentences for Abstractive Summarization},
    author={Jingqing Zhang and Yao Zhao and Mohammad Saleh and Peter J. Liu},
    year={2019},
    eprint={1912.08777},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}