Pegasus Xsum

🚀 Pegasus モデル

Pegasusモデルは、要約タスクに特化した強力なモデルです。このモデルは、様々なデータセットでの要約性能が検証されており、高い精度を誇っています。

🔗 関連リンク

• ドキュメント: こちら
• 元のTF 1コード: こちら

📋 基本情報

📊 モデルの評価結果

⚠️ 重要提示

wikihowとbig_patentデータセットの数値は、トークン化とデータの変更により比較できません。wikihowデータセットには改行文字が含まれており、段落分割に役立ちますが、C4とHugeNewsモデルのSentencePieceトークナイザーは改行をエンコードせず、この情報を失います。BigPatentデータセットは大文字小文字を保持するように更新され、一部のフォーマットクリーニングも変更されています。詳細はTFDSの変更を参照してください。

📝 "Mixed & Stochastic" モデルの変更点

• C4とHugeNewsの両方のデータセットで学習（データセットの混合は例の数で重み付けされます）。
• 500kではなく150万ステップ学習（事前学習の困惑度の収束が遅いことが観察されました）。
• モデルは15％から45％の間でギャップ文の比率を均一にサンプリングします。
• 重要文は、重要度スコアに20％の均一ノイズを使用してサンプリングされます。
• SentencePieceトークナイザーは改行文字をエンコードできるように更新されました。

📚 引用

@misc{zhang2019pegasus,
    title={PEGASUS: Pre-training with Extracted Gap-sentences for Abstractive Summarization},
    author={Jingqing Zhang and Yao Zhao and Mohammad Saleh and Peter J. Liu},
    year={2019},
    eprint={1912.08777},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}