Distill Pegasus Xsum 16 4

🚀 Pegasusモデル

Pegasusモデルは主にテキスト要約タスクに使用され、様々なデータセットで訓練と最適化が行われ、テキスト要約に対して効果的な解決策を提供します。

🚀 クイックスタート

• ドキュメントを見る：ここをクリック
• オリジナルのTF 1コード：ここをクリック

✨ 主な機能

モデル情報

• 著者：Jingqing Zhang、Yao Zhao、Mohammad Saleh、Peter J. Liu（2019年12月18日）
• メンテナ：@sshleifer
• タスク：テキスト要約

混合とランダムチェックポイントモデル

実験結果

モデルの変更点

• C4とHugeNewsの2つのデータセットで訓練を行います（データセットを混合する際はサンプル数で重み付け）。
• 訓練ステップを500kから1500kに増やしました（事前訓練の困惑度の収束が遅いため）。
• モデルは15%から45%の間で均一にサンプリングされた間隔の文の割合を使用します。
• 重要な文をサンプリングする際に、重要度スコアに20%の均一なノイズを追加します。
• SentencePieceトークナイザを更新し、改行文字をエンコードできるようにしました。

特殊な説明

(*) wikihowとbig_patentデータセットの結果は、トークナイズとデータの変更により比較できません：

• wikihowデータセットには改行文字が含まれており、段落分割に役立ちますが、C4とHugeNewsモデルのSentencePieceトークナイザは改行文字をエンコードできず、この情報が失われます。
• BigPatentデータセットを更新して大文字と小文字を保持するようにし、一部の形式のクリーニング操作も変更しました。詳細はTFDSの変更を参照してください。

📄 ライセンス

引用情報

@misc{zhang2019pegasus,
    title={PEGASUS: Pre-training with Extracted Gap-sentences for Abstractive Summarization},
    author={Jingqing Zhang and Yao Zhao and Mohammad Saleh and Peter J. Liu},
    year={2019},
    eprint={1912.08777},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}