Fewshot Xsum Bart

🚀 少样本XSum-BART摘要模型

本模型基于facebook/bart-large进行微调，专注于少样本学习在摘要任务中的应用，通过少量标注数据展示了在摘要任务中少样本学习的潜力。

🚀 快速开始

使用此模型进行少样本抽象摘要任务。以下是加载和使用该模型的示例：

from transformers import pipeline

# 加载少样本模型
summarizer = pipeline("summarization", model="bhargavis/fewshot-xsum-bart")

# 提供输入文本
input_text = """
Authorities have issued a warning after multiple sightings of a large brown bear in the woods. The bear is known to become aggressive if disturbed, and residents are urged to exercise caution. Last week, a group of hikers reported a close encounter with the animal. While no injuries were sustained, the bear displayed defensive behavior when approached. Wildlife officials advise keeping a safe distance and avoiding the area if possible. Those encountering the bear should remain calm, back away slowly, and refrain from making sudden movements. Officials continue to monitor the situation.
"""

# 生成摘要
summary = summarizer(input_text, max_length=64, min_length=30, do_sample=False)
print(summary[0]["summary_text"])

✨ 主要特性

• 少样本学习：在少量标注数据上进行微调，展示了少样本学习在摘要任务中的潜力。
• 基于BART-large：以facebook/bart-large为基础模型，利用其预训练的语言理解能力。
• 可对比性：可与零样本和全量样本学习模型进行性能对比。

📦 安装指南

暂未提及具体安装步骤，可参考Hugging Face的通用安装方法。

📚 详细文档

模型描述

• 模型名称：fewshot-xsum-bart
• 基础模型：facebook/bart-large
• 任务：摘要（少样本学习）

数据集：XSUM（极端摘要数据集）

• 少样本设置：在XSUM训练集的100个样本上进行训练，并在XSUM验证集的50个样本上进行验证。
• 模型特点：该模型是BART-large模型的少样本学习变体，在XSUM数据集的非常小子集上进行了微调。
• 目的：展示少样本学习在仅有有限标注数据的摘要任务中的有效性。

训练设置

• 训练集：100个样本（从XSUM训练集中随机选择）。
• 验证集：50个样本（从XSUM验证集中随机选择）。
• 基础模型：facebook/bart-large（在大型语料库上预训练）。
• 微调参数：
  • 轮数：3
  • 批次大小：8
  • 学习率：5e-5
  • 最大输入长度：512个标记
  • 最大输出长度：64个标记

全量样本学习模型

如需更通用的摘要模型，请查看在整个XSUM数据集上训练的完整模型：fulltrain-xsum-bart。

性能

由于该模型的少样本性质，其性能不能直接与在完整XSUM数据集上训练的模型相比较。然而，它展示了少样本学习在摘要任务中的潜力。在验证集（50个样本）上的关键指标如下：

少样本学习模型

• ROUGE分数：
  • ROUGE-1：0.34979462836539676
  • ROUGE-2：0.1307846421186083
  • ROUGE-L：0.27450996607520567
• BLEU分数：6.176957339134279

零样本/基线模型

• ROUGE分数：
  • ROUGE-1：0.15600324782737301
  • ROUGE-2：0.017444778781163447
  • ROUGE-L：0.12044578560849475
• BLEU分数：0.6167333943579659

局限性

• 该模型在非常小的数据集上进行训练，因此其性能可能无法很好地泛化到所有类型的文本。
• 构建此模型的目的是与零样本和全量样本学习模型进行性能比较。
• 它最适合仅有有限标注数据的任务。
• 该模型在XSUM数据集中的BBC文章上进行了微调，其在其他领域文本上的性能可能会有所不同。
• 由于数据集较小，模型可能会过拟合训练数据。

引用

如果您在研究中使用此模型，请按以下方式引用：

@misc{fewshot-xsum-bart,
  author = {Bhargavi Sriram},
  title = {Few-Shot Abstractive Summarization with BART-Large},
  year = {2025},
  publisher = {Hugging Face},
  howpublished = {\url{https://huggingface.co/bhargavis/fewshot-xsum-bart}},
}

📄 许可证

本模型使用MIT许可证。