Pegasus Large Summary Explain

🚀 pszemraj/pegasus-large-summary-explain

本模型是 google/pegasus-large 在 booksum 数据集上进行了总共四个轮次微调后的版本。它在自然语言处理的文本摘要任务中表现出色，能够为用户提供更易理解的文本摘要。

🚀 快速开始

本模型是 google/pegasus-large 在 booksum 数据集上微调了四个轮次的版本。

它在评估集上取得了以下结果：

• 评估损失（eval_loss）：1.1193
• 评估运行时间（eval_runtime）：6.6754
• 每秒评估样本数（eval_samples_per_second）：27.714
• 每秒评估步数（eval_steps_per_second）：1.798
• 轮次（epoch）：3.0
• 步数（step）：900

可以在 pszemraj/pegasus-large-book-summary 找到一个单轮次的检查点，第二轮训练就是从这里开始的。

✨ 主要特性

• SparkNotes风格摘要：经过在 booksum 数据集上的初步测试，发现该模型生成的摘要具有类似SparkNotes风格的解释。用户得到的不仅是更紧凑的文本，而是更简短、更易理解的版本。从经验来看，这种特性有利于学习和理解，因为那些只是简单压缩信息的摘要数据集（例如arXiv）可能过于密集，理解摘要内容所花费的时间可能与阅读原文相当。

📚 详细文档

预期用途和限制

• 标准的Pegasus模型最大输入长度为1024个标记（tokens），因此该模型在训练时仅处理章节的前1024个标记，并尝试据此生成章节摘要。使用此模型时请记住，长度超过1024个标记的文本序列末尾的信息可能会被排除在最终摘要之外，或者模型会更倾向于优先处理开头的信息。

训练和评估数据

更多信息待补充。

训练过程

训练超参数

训练过程中使用了以下超参数：

• 学习率（learning_rate）：4e - 05
• 训练批次大小（train_batch_size）：16
• 评估批次大小（eval_batch_size）：16
• 随机种子（seed）：42
• 分布式类型（distributed_type）：多GPU
• 梯度累积步数（gradient_accumulation_steps）：2
• 总训练批次大小（total_train_batch_size）：32
• 优化器（optimizer）：Adam，β值为(0.9, 0.999)，ε值为1e - 08
• 学习率调度器类型（lr_scheduler_type）：余弦
• 学习率调度器预热比例（lr_scheduler_warmup_ratio）：0.03
• 训练轮数（num_epochs）：4

框架版本

• Transformers：4.16.2
• Pytorch：1.10.2 + cu113
• Datasets：1.18.3
• Tokenizers：0.11.0

📄 许可证

本模型采用Apache - 2.0许可证。