Pegasus Finetuned Samsum

🚀 pegasus-finetuned-samsum

このモデルは、samsumデータセットでgoogle/pegasus-cnn_dailymailをファインチューニングしたバージョンです。評価セットで以下の結果を達成しています。

• 損失率: 1.4245
• Rouge-1: 0.4403
• Rouge-2: 0.2102
• Rouge-L: 0.3491
• Rouge-Lsum: 0.3493

🚀 クイックスタート

このモデルは、2025年4月8日現在、Papers with Code SAMsumリーダーボードで10番目に性能が高いモデルとなっています。

✨ 主な機能

このモデルは、抽象的な対話要約を目的として設計されています。複数ターンの会話を入力として受け取り、簡潔な要約を生成することができます。

💻 使用例

基本的な使用法

from transformers import pipeline

# Load summarization pipeline
model_name = "avanishd/pegasus-finetuned-samsum/"
summarizer = pipeline("summarization", model=model_name, tokenizer=model_name)

# Sample conversation
dialogue = """
John: Hey, are you free tomorrow?
Alice: I think so, why?
John: Want to catch a movie or grab lunch?
Alice: Sure, lunch sounds good. What time?
John: Let's say 1 PM at the new place downtown?
Alice: Works for me!
"""

# Generate summary
summary = summarizer(dialogue, max_length=60, min_length=15, do_sample=False)[0]['summary_text']

print("Summary:", summary)

🔧 技術詳細

学習ハイパーパラメータ

学習中に以下のハイパーパラメータが使用されました。

• learning_rate: 5e-05
• train_batch_size: 1
• eval_batch_size: 1
• seed: 42
• gradient_accumulation_steps: 16
• total_train_batch_size: 16
• optimizer: OptimizerNames.ADAMW_TORCHを使用し、betas=(0.9,0.999)、epsilon=1e-08、optimizer_args=追加のオプティマイザ引数なし
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 500
• num_epochs: 1
• mixed_precision_training: Native AMP

学習結果

フレームワークバージョン

• Transformers 4.50.3
• Pytorch 2.6.0+cu124
• Datasets 3.5.0
• Tokenizers 0.21.1