Long T5 Tglobal Base Synthsumm Direct

🚀 長T5全局基礎合成摘要直接模型

本模型基於合成數據集進行微調，該數據集包含精心挑選的長上下文文本以及 GPT-3.5-turbo-1106 在多個領域生成的摘要，同時還結合了預訓練數據集中的“隨機”長上下文示例。

• 注意：此模型僅在 synthsumm 數據集上進行微調，未在其他摘要數據集上進行微調。

試用途徑：Gradio演示 | 通過 requests 調用免費的 Hugging Face推理API | 包含示例輸出的 .md 文件（全面測試）

🚀 快速開始

建議使用 波束搜索解碼 來使用此模型。如果有興趣，你還可以使用 textsum 工具倉庫，它可以為你簡化大部分操作：

pip install -U textsum

from textsum.summarize import Summarizer

model_name = "pszemraj/long-t5-tglobal-base-synthsumm_direct"
summarizer = Summarizer(model_name) # 自動檢測GPU
text = "put the text you don't want to read here"
summary = summarizer.summarize_string(text)
print(summary)

📚 詳細文檔

本模型是 google/long-t5-tglobal-base 的微調版本，在評估集上取得了以下結果：

• 損失值：1.4378
• Rouge1：48.0918
• Rouge2：21.2531
• Rougel：34.4307
• Rougelsum：43.0271
• 生成長度：84.5231

🔧 技術細節

訓練超參數

訓練過程中使用了以下超參數：

• 學習率：0.0003
• 訓練批次大小：1
• 評估批次大小：1
• 隨機種子：26605
• 梯度累積步數：8
• 總訓練批次大小：8
• 優化器：Adam（β1=0.9，β2=0.999，ε=1e-08）
• 學習率調度器類型：逆平方根
• 學習率調度器預熱比例：0.03
• 訓練輪數：2.0

訓練結果

框架版本

• Transformers 4.36.0.dev0
• Pytorch 2.1.0
• Datasets 2.15.0
• Tokenizers 0.15.0

📄 許可證

本項目採用 Apache-2.0 許可證。

📦 模型信息