Fewshot Xsum Bart

🚀 fewshot-xsum-bart

fewshot-xsum-bartは、XSUMデータセットのごく一部で微調整された、Few-Shot学習を用いた要約モデルです。このモデルは、限られたラベル付きデータでも要約タスクにおけるFew-Shot学習の有効性を実証します。

🚀 クイックスタート

このモデルは、Few-Shotの要約タスクに使用できます。以下に、モデルの読み込みと使用例を示します。

from transformers import pipeline

# Load the few-shot model
summarizer = pipeline("summarization", model="bhargavis/fewshot-xsum-bart")

# Provide input text
input_text = """
Authorities have issued a warning after multiple sightings of a large brown bear in the woods. The bear is known to become aggressive if disturbed, and residents are urged to exercise caution. Last week, a group of hikers reported a close encounter with the animal. While no injuries were sustained, the bear displayed defensive behavior when approached. Wildlife officials advise keeping a safe distance and avoiding the area if possible. Those encountering the bear should remain calm, back away slowly, and refrain from making sudden movements. Officials continue to monitor the situation.
"""

# Generate summary
summary = summarizer(input_text, max_length=64, min_length=30, do_sample=False)
print(summary[0]["summary_text"])

✨ 主な機能

• このモデルは、XSUMデータセットのごく一部で微調整された、Few-Shot学習を用いた要約モデルです。
• 限られたラベル付きデータでも要約タスクにおけるFew-Shot学習の有効性を実証します。

📦 インストール

本READMEにはインストール手順に関する具体的なコマンドが記載されていないため、このセクションを省略します。

💻 使用例

基本的な使用法

from transformers import pipeline

# Load the few-shot model
summarizer = pipeline("summarization", model="bhargavis/fewshot-xsum-bart")

# Provide input text
input_text = """
Authorities have issued a warning after multiple sightings of a large brown bear in the woods. The bear is known to become aggressive if disturbed, and residents are urged to exercise caution. Last week, a group of hikers reported a close encounter with the animal. While no injuries were sustained, the bear displayed defensive behavior when approached. Wildlife officials advise keeping a safe distance and avoiding the area if possible. Those encountering the bear should remain calm, back away slowly, and refrain from making sudden movements. Officials continue to monitor the situation.
"""

# Generate summary
summary = summarizer(input_text, max_length=64, min_length=30, do_sample=False)
print(summary[0]["summary_text"])

📚 ドキュメント

モデルの説明

• モデル名 - fewshot-xsum-bart
• ベースモデル - facebook/bart-large
• タスク - 要約 (Few-Shot学習)

データセット: XSUM (Extreme Summarization Dataset)

• Few-Shot設定: XSUMトレーニングセットから100サンプルを使用してトレーニングし、XSUM検証セットから50サンプルを使用して検証しました。
• このモデルは、BART-largeモデルのFew-Shot学習バリアントで、XSUMデータセットのごく一部で微調整されています。
• このモデルの目的は、限られたラベル付きデータしか利用できない要約タスクにおけるFew-Shot学習の有効性を実証することです。

目的

このモデルの目標は、BARTのような大規模な事前学習言語モデルが、非常に限られたデータで微調整された場合（Few-Shot学習）、要約タスクでどれだけうまく機能するかを調査することです。100サンプルでトレーニングし、50サンプルで検証することで、このモデルはFew-Shot要約タスクの概念実証として機能します。

• トレーニングセット: 100サンプル（XSUMトレーニングセットからランダムに選択）。
• 検証セット: 50サンプル（XSUM検証セットからランダムに選択）。

データセットのサイズが小さいのは意図的なもので、大規模なトレーニングではなくFew-Shot学習に焦点を当てているためです。

• ベースモデル: facebook/bart-large（大規模なコーパスで事前学習）。
• 微調整:
  • エポック数: 3
  • バッチサイズ: 8
  • 学習率: 5e-5
  • 最大入力長: 512トークン
  • 最大出力長: 64トークン

フルショット学習モデル

より汎用的な要約モデルについては、XSUMデータセット全体でトレーニングされた完全なモデルを参照してください: fulltrain-xsum-bart。

パフォーマンス

このモデルはFew-Shot学習の性質上、XSUMデータセット全体でトレーニングされたモデルと直接比較することはできません。しかし、要約タスクにおけるFew-Shot学習の可能性を示しています。検証セット（50サンプル）での主要な指標は以下の通りです。

Few-Shot学習モデル

• ROUGEスコア:
  • ROUGE-1: 0.34979462836539676
  • ROUGE-2: 0.1307846421186083
  • ROUGE-L: 0.27450996607520567
• BLEUスコア: 6.176957339134279

Zero-Shot/ベースラインモデル

• ROUGEスコア:
  • ROUGE-1: 0.15600324782737301
  • ROUGE-2: 0.017444778781163447
  • ROUGE-L: 0.12044578560849475
• BLEUスコア: 0.6167333943579659

制限事項

• このモデルは非常に小さなデータセットでトレーニングされているため、すべてのタイプのテキストに対して汎化性能が高いとは限りません。
• このモデルを構築する目的は、Zero-ShotおよびFull-Shot学習モデルとの性能比較です。
• 限られたラベル付きデータしか利用できないタスクに最適です。
• このモデルはXSUMデータセットのBBC記事で微調整されています。他のドメインのテキストでは性能が異なる場合があります。
• データセットのサイズが小さいため、トレーニングデータに過学習する可能性があります。

引用

もしあなたの研究でこのモデルを使用する場合は、以下のように引用してください。

@misc{fewshot-xsum-bart,
  author = {Bhargavi Sriram},
  title = {Few-Shot Abstractive Summarization with BART-Large},
  year = {2025},
  publisher = {Hugging Face},
  howpublished = {\url{https://huggingface.co/bhargavis/fewshot-xsum-bart}},
}

🔧 技術詳細

本READMEには技術的な詳細説明が50文字以上記載されていないため、このセクションを省略します。

📄 ライセンス

このモデルはMITライセンスの下で提供されています。