🚀 飛馬微調版Samsum模型
本模型基於Transformer架構,是在Samsum數據集上對google/pegasus-cnn_dailymail
進行微調後的版本,可用於抽象對話摘要,能處理多輪對話並生成簡潔摘要。
🚀 快速開始
代碼示例
from transformers import pipeline
model_name = "avanishd/pegasus-finetuned-samsum/"
summarizer = pipeline("summarization", model=model_name, tokenizer=model_name)
dialogue = """
John: Hey, are you free tomorrow?
Alice: I think so, why?
John: Want to catch a movie or grab lunch?
Alice: Sure, lunch sounds good. What time?
John: Let's say 1 PM at the new place downtown?
Alice: Works for me!
"""
summary = summarizer(dialogue, max_length=60, min_length=15, do_sample=False)[0]['summary_text']
print("Summary:", summary)
✨ 主要特性
📦 安裝指南
文檔未提供具體安裝步驟,可參考transformers
庫的官方安裝說明進行安裝。
💻 使用示例
基礎用法
from transformers import pipeline
model_name = "avanishd/pegasus-finetuned-samsum/"
summarizer = pipeline("summarization", model=model_name, tokenizer=model_name)
dialogue = """
John: Hey, are you free tomorrow?
Alice: I think so, why?
John: Want to catch a movie or grab lunch?
Alice: Sure, lunch sounds good. What time?
John: Let's say 1 PM at the new place downtown?
Alice: Works for me!
"""
summary = summarizer(dialogue, max_length=60, min_length=15, do_sample=False)[0]['summary_text']
print("Summary:", summary)
📚 詳細文檔
評估集結果
該模型在評估集上取得了以下結果:
- 損失值: 1.4245
- Rouge-1: 0.4403
- Rouge-2: 0.2102
- Rouge-L: 0.3491
- Rouge-Lsum: 0.3493
訓練和評估數據
文檔未提供詳細信息。
訓練過程
訓練超參數
訓練過程中使用了以下超參數:
- 學習率: 5e-05
- 訓練批次大小: 1
- 評估批次大小: 1
- 隨機種子: 42
- 梯度累積步數: 16
- 總訓練批次大小: 16
- 優化器: 使用
OptimizerNames.ADAMW_TORCH
,betas=(0.9, 0.999)
,epsilon=1e-08
,無額外優化器參數
- 學習率調度器類型: 線性
- 學習率調度器熱身步數: 500
- 訓練輪數: 1
- 混合精度訓練: 原生自動混合精度(Native AMP)
訓練結果
訓練損失 |
輪數 |
步數 |
驗證損失 |
1.5798 |
0.9992 |
920 |
1.4245 |
框架版本
- Transformers 4.50.3
- Pytorch 2.6.0+cu124
- Datasets 3.5.0
- Tokenizers 0.21.1
🔧 技術細節
該模型是在Samsum數據集上對google/pegasus-cnn_dailymail
進行微調得到的。微調過程中使用了特定的超參數和優化器,以提高模型在對話摘要任務上的性能。
📄 許可證
文檔未提供相關許可證信息。