Pegasus Reddit Tifu

🚀 Pegasusモデル

Pegasusモデルは主にテキスト要約タスクに使用され、複数のデータセットで訓練され、良好な結果を得ています。特定の訓練戦略とモデル調整により、テキスト要約の品質を効果的に向上させることができます。

🚀 クイックスタート

• ドキュメントを見る：ここをクリック
• オリジナルのTF 1コード：ここをクリック

✨ 主な機能

作者情報

• 作者：Jingqing Zhang、Yao Zhao、Mohammad Saleh、Peter J. Liu が2019年12月18日に公開。
• メンテナ：@sshleifer

タスクタイプ

テキスト要約

📚 ドキュメント

混合とランダムチェックポイント

C4とHugeNewsデータセットで、サンプリングされた間隔文比率でPegasusモデルを訓練し、重要な文をランダムにサンプリングしました。更新された結果は以下の表の通りです：

「混合とランダム」モデルには以下の変更があります：

• C4とHugeNewsの2つのデータセットで訓練（データセット混合はサンプル数で重み付け）。
• 訓練ステップを50万ステップではなく150万ステップに設定（事前学習の困惑度が収束するのが遅いことを観察）。
• モデルは15%から45%の間で均一に間隔文比率をサンプリング。
• 重要性スコアに20%の均一ノイズを使用して重要な文を選択。
• SentencePieceトークナイザを更新して、改行文字をエンコードできるように。

(*) トークナイズとデータの変更により、wikihowとbig_patentデータセットの数値は比較できません：

• wikihowデータセットには改行文字が含まれており、段落分割に役立ちますが、C4とHugeNewsモデルのSentencePieceトークナイザは改行文字をエンコードできないため、この情報が失われます。
• BigPatentデータセットを更新して大文字小文字を保持し、一部のフォーマットクリーニング操作も変更しました。詳細はTFDSの変更を参照してください。

「混合とランダム」モデルは論文中のpegasus-largeに対して以下の変更があります：

• C4とHugeNewsの2つのデータセットで訓練（データセット混合はサンプル数で重み付け）。
• 訓練ステップを50万ステップではなく150万ステップに設定（事前学習の困惑度が収束するのが遅いことを観察）。
• モデルは15%から45%の間で均一に間隔文比率をサンプリング。
• 重要性スコアに20%の均一ノイズを使用して重要な文を選択。
• SentencePieceトークナイザを更新して、改行文字をエンコードできるように。

引用

@misc{zhang2019pegasus,
    title={PEGASUS: Pre-training with Extracted Gap-sentences for Abstractive Summarization},
    author={Jingqing Zhang and Yao Zhao and Mohammad Saleh and Peter J. Liu},
    year={2019},
    eprint={1912.08777},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}