Fewshot Xsum Bart

🚀 少樣本XSum-BART摘要模型

本模型基於facebook/bart-large進行微調，專注於少樣本學習在摘要任務中的應用，通過少量標註數據展示了在摘要任務中少樣本學習的潛力。

🚀 快速開始

使用此模型進行少樣本抽象摘要任務。以下是加載和使用該模型的示例：

from transformers import pipeline

# 加載少樣本模型
summarizer = pipeline("summarization", model="bhargavis/fewshot-xsum-bart")

# 提供輸入文本
input_text = """
Authorities have issued a warning after multiple sightings of a large brown bear in the woods. The bear is known to become aggressive if disturbed, and residents are urged to exercise caution. Last week, a group of hikers reported a close encounter with the animal. While no injuries were sustained, the bear displayed defensive behavior when approached. Wildlife officials advise keeping a safe distance and avoiding the area if possible. Those encountering the bear should remain calm, back away slowly, and refrain from making sudden movements. Officials continue to monitor the situation.
"""

# 生成摘要
summary = summarizer(input_text, max_length=64, min_length=30, do_sample=False)
print(summary[0]["summary_text"])

✨ 主要特性

• 少樣本學習：在少量標註數據上進行微調，展示了少樣本學習在摘要任務中的潛力。
• 基於BART-large：以facebook/bart-large為基礎模型，利用其預訓練的語言理解能力。
• 可對比性：可與零樣本和全量樣本學習模型進行性能對比。

📦 安裝指南

暫未提及具體安裝步驟，可參考Hugging Face的通用安裝方法。

📚 詳細文檔

模型描述

• 模型名稱：fewshot-xsum-bart
• 基礎模型：facebook/bart-large
• 任務：摘要（少樣本學習）

數據集：XSUM（極端摘要數據集）

• 少樣本設置：在XSUM訓練集的100個樣本上進行訓練，並在XSUM驗證集的50個樣本上進行驗證。
• 模型特點：該模型是BART-large模型的少樣本學習變體，在XSUM數據集的非常小子集上進行了微調。
• 目的：展示少樣本學習在僅有有限標註數據的摘要任務中的有效性。

訓練設置

• 訓練集：100個樣本（從XSUM訓練集中隨機選擇）。
• 驗證集：50個樣本（從XSUM驗證集中隨機選擇）。
• 基礎模型：facebook/bart-large（在大型語料庫上預訓練）。
• 微調參數：
  • 輪數：3
  • 批次大小：8
  • 學習率：5e-5
  • 最大輸入長度：512個標記
  • 最大輸出長度：64個標記

全量樣本學習模型

如需更通用的摘要模型，請查看在整個XSUM數據集上訓練的完整模型：fulltrain-xsum-bart。

性能

由於該模型的少樣本性質，其性能不能直接與在完整XSUM數據集上訓練的模型相比較。然而，它展示了少樣本學習在摘要任務中的潛力。在驗證集（50個樣本）上的關鍵指標如下：

少樣本學習模型

• ROUGE分數：
  • ROUGE-1：0.34979462836539676
  • ROUGE-2：0.1307846421186083
  • ROUGE-L：0.27450996607520567
• BLEU分數：6.176957339134279

零樣本/基線模型

• ROUGE分數：
  • ROUGE-1：0.15600324782737301
  • ROUGE-2：0.017444778781163447
  • ROUGE-L：0.12044578560849475
• BLEU分數：0.6167333943579659

侷限性

• 該模型在非常小的數據集上進行訓練，因此其性能可能無法很好地泛化到所有類型的文本。
• 構建此模型的目的是與零樣本和全量樣本學習模型進行性能比較。
• 它最適合僅有有限標註數據的任務。
• 該模型在XSUM數據集中的BBC文章上進行了微調，其在其他領域文本上的性能可能會有所不同。
• 由於數據集較小，模型可能會過擬合訓練數據。

引用

如果您在研究中使用此模型，請按以下方式引用：

@misc{fewshot-xsum-bart,
  author = {Bhargavi Sriram},
  title = {Few-Shot Abstractive Summarization with BART-Large},
  year = {2025},
  publisher = {Hugging Face},
  howpublished = {\url{https://huggingface.co/bhargavis/fewshot-xsum-bart}},
}

📄 許可證

本模型使用MIT許可證。