Long T5 Tglobal Large Pubmed 3k Booksum 16384 WIP

🚀 long-t5-tglobal-large-pubmed-3k-booksum-16384-WIP

這是一個專注於文本摘要任務的模型檢查點，基於特定數據集訓練，能處理較長輸入文本，為長文檔摘要提供解決方案。

🚀 快速開始

⚠️ 重要提示

此模型仍在開發中（WIP），尚未完成或收斂，但分享出來或許能為其他人節省一些時間。

✨ 主要特性

• 基於 Stancld/longt5-tglobal-large-16384-pubmed-3k_steps 進行約 26 個週期的訓練，數據集為 kmfoda/booksum。
• 訓練期間最大輸入長度根據 GPU 可用性在 8192 到 16384 個標記之間變化，在最後 10 多個週期的訓練中，最大輸入長度為 16384 個標記。

📚 詳細文檔

更新記錄

• 2022 年 7 月 26 日：增加兩個週期的訓練，指標開始接近調優更好的 base 變體。
• 2022 年 7 月 8 日：添加在 A100 上訓練約 4 個週期的檢查點，相當於功能批量大小為 128 的約 350 步。
• 2022 年 7 月 4 日：添加經過六個額外週期訓練的檢查點，數據集摘要輸出過濾為 1024 標記，解決了之前摘要過短的問題。

對比信息

• 與 pszemraj/led-large-book-summary 進行對比。
  • 推理 API 已禁用，因為計算量過大。

模型信息

評估指標

kmfoda/booksum 數據集

samsum 數據集

xsum 數據集

billsum 數據集

launch/gov_report 數據集

📄 許可證

本模型採用 Apache - 2.0 許可證。