Bart Base Xsum

🚀 bart-base-xsum

bart-base-xsum 是基于 facebook/bart-base 在 xsum 数据集上微调的模型，可用于文本摘要任务，在评估集上取得了良好的效果。

🚀 快速开始

此模型是 facebook/bart-base 在 xsum 数据集上的微调版本。它在评估集上取得了以下结果：

• 损失率（Loss）：0.8051
• ROUGE-1（R1）：0.5643
• ROUGE-2（R2）：0.3017
• ROUGE-L（Rl）：0.5427
• ROUGE-LSUM（Rlsum）：0.5427

模型训练使用了以下仓库中的脚本：https://github.com/MorenoLaQuatra/transformers-tasks-templates

📚 详细文档

训练和评估数据

更多信息待补充。

模型描述

更多信息待补充。

预期用途和限制

更多信息待补充。

🔧 技术细节

训练过程

训练超参数

训练期间使用了以下超参数：

• 学习率（learning_rate）：5e-05
• 训练批次大小（train_batch_size）：32
• 评估批次大小（eval_batch_size）：32
• 随机种子（seed）：42
• 优化器（optimizer）：Adam，β1 = 0.9，β2 = 0.999，ε = 1e-08
• 学习率调度器类型（lr_scheduler_type）：线性
• 学习率调度器热身步数（lr_scheduler_warmup_steps）：500
• 训练轮数（num_epochs）：10

训练结果

框架版本

• Transformers：4.22.1
• Pytorch：1.11.0+cu113
• Datasets：2.0.0
• Tokenizers：0.11.6

📄 许可证

本项目采用 Apache-2.0 许可证。

模型指标详情