Long T5 Tglobal Large Pubmed 3k Booksum 16384 WIP

🚀 long-t5-tglobal-large-pubmed-3k-booksum-16384-WIP

このモデルはまだ開発中（WIP）であり、完全に完成したり収束したりしていませんが、他の方の時間を節約できるかもしれないので共有しています。

✨ 主な機能

• このモデルは Stancld/longt5-tglobal-large-16384-pubmed-3k_steps のチェックポイントで、kmfoda/booksum データセットで約26エポック学習されています。
• 学習中の最大入力長はGPUの可用性に応じて8192から16384トークンまで変化します。このチェックポイントは、最終的な10エポック以上で最大入力長を16384トークンとして学習されています。

📚 ドキュメント

更新履歴

• この開発中のチェックポイントを更新するたびに、ここにメモを投稿します。
  • 2022年7月26日：さらに2エポックの学習を追加。メトリクスが、より調整された base バリアントとほぼ同じくらいの性能になり始めました。
  • 2022年7月8日：A100で約4エポックの学習を行ったチェックポイントを追加。機能的なバッチサイズ128で約350ステップに相当します。
  • 2022年7月4日：データセットの要約出力を1024 トークンにフィルタリングして、さらに6エポックの学習を行ったチェックポイントを追加。以前の短い要約の問題を解決しました。

比較

• pszemraj/led-large-book-summary と比較してください。
  • 推論APIは計算負荷が高いため無効になっています。

メトリクス

kmfoda/booksum データセットのメトリクス

samsum データセットのメトリクス

xsum データセットのメトリクス

billsum データセットのメトリクス

launch/gov_report データセットのメトリクス

📄 ライセンス

このモデルは Apache-2.0 ライセンスの下で提供されています。