Long T5 Tglobal Base Synthsumm Direct

🚀 长T5全局基础合成摘要直接模型

本模型基于合成数据集进行微调，该数据集包含精心挑选的长上下文文本以及 GPT-3.5-turbo-1106 在多个领域生成的摘要，同时还结合了预训练数据集中的“随机”长上下文示例。

• 注意：此模型仅在 synthsumm 数据集上进行微调，未在其他摘要数据集上进行微调。

试用途径：Gradio演示 | 通过 requests 调用免费的 Hugging Face推理API | 包含示例输出的 .md 文件（全面测试）

🚀 快速开始

建议使用 波束搜索解码 来使用此模型。如果有兴趣，你还可以使用 textsum 工具仓库，它可以为你简化大部分操作：

pip install -U textsum

from textsum.summarize import Summarizer

model_name = "pszemraj/long-t5-tglobal-base-synthsumm_direct"
summarizer = Summarizer(model_name) # 自动检测GPU
text = "put the text you don't want to read here"
summary = summarizer.summarize_string(text)
print(summary)

📚 详细文档

本模型是 google/long-t5-tglobal-base 的微调版本，在评估集上取得了以下结果：

• 损失值：1.4378
• Rouge1：48.0918
• Rouge2：21.2531
• Rougel：34.4307
• Rougelsum：43.0271
• 生成长度：84.5231

🔧 技术细节

训练超参数

训练过程中使用了以下超参数：

• 学习率：0.0003
• 训练批次大小：1
• 评估批次大小：1
• 随机种子：26605
• 梯度累积步数：8
• 总训练批次大小：8
• 优化器：Adam（β1=0.9，β2=0.999，ε=1e-08）
• 学习率调度器类型：逆平方根
• 学习率调度器预热比例：0.03
• 训练轮数：2.0

训练结果

框架版本

• Transformers 4.36.0.dev0
• Pytorch 2.1.0
• Datasets 2.15.0
• Tokenizers 0.15.0

📄 许可证

本项目采用 Apache-2.0 许可证。

📦 模型信息