Bart Summarizer Model

🚀 文本摘要模型：KipperDev/bart_summarizer_model

本項目基於微調的facebook/bart-base模型，專注於文本摘要任務。它能夠從長篇文本中生成簡潔、連貫且信息豐富的摘要，幫助用戶快速把握文檔核心內容，尤其適合專業人士和研究人員快速瞭解詳細報告、研究論文或文章的要點。

🚀 快速開始

本模型用於將長篇文本概括為簡潔、有信息量的摘要。以下是使用步驟：

安裝依賴

使用pip進行安裝：

pip install transformers

Python代碼示例

from transformers import pipeline
from transformers import AutoTokenizer
from transformers import AutoModelForSeq2SeqLM

model_name = "KipperDev/bart_summarizer_model"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSeq2SeqLM.from_pretrained(model_name)
summarizer = pipeline("summarization", model=model, tokenizer=tokenizer)

# 示例用法
prefix = "summarize: "
input_text = "Your input text here."
input_ids = tokenizer.encode(prefix + input_text, return_tensors="pt")
summary_ids = model.generate(input_ids)
summary = tokenizer.decode(summary_ids[0], skip_special_tokens=True)

print(summary)

⚠️ 重要提示

為使模型按預期工作，需要在輸入數據前添加 summarize: 前綴。

✨ 主要特性

• 基於facebook/bart-base模型微調，專為文本摘要任務設計。
• 利用BART的雙向編碼器和自迴歸解碼器，生成高質量摘要。
• 經過大規模專利數據集訓練，能處理複雜文本結構。

📦 安裝指南

使用pip安裝所需的transformers庫：

pip install transformers

💻 使用示例

基礎用法

from transformers import pipeline
from transformers import AutoTokenizer
from transformers import AutoModelForSeq2SeqLM

model_name = "KipperDev/bart_summarizer_model"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSeq2SeqLM.from_pretrained(model_name)
summarizer = pipeline("summarization", model=model, tokenizer=tokenizer)

prefix = "summarize: "
input_text = "Your input text here."
input_ids = tokenizer.encode(prefix + input_text, return_tensors="pt")
summary_ids = model.generate(input_ids)
summary = tokenizer.decode(summary_ids[0], skip_special_tokens=True)

print(summary)

📚 詳細文檔

訓練詳情

訓練數據

模型使用 Big Patent Dataset 進行訓練，該數據集包含130萬份美國專利文檔及其對應的人工編寫摘要。選擇此數據集是因為其語言豐富、結構複雜，能代表文檔摘要任務的挑戰性。訓練過程中使用了數據集的多個子集，以確保模型在不同類型文檔上具有廣泛的覆蓋範圍和強大的性能。

訓練過程

訓練分三輪進行，初始設置為學習率0.00002、批次大小8和4個訓練週期。後續輪次調整參數以進一步優化模型性能，分別調整為學習率0.0003、批次大小8和12個訓練週期。此外，應用了線性衰減學習率調度，以提高模型的學習效率。

訓練結果

使用ROUGE指標評估模型性能，結果表明模型生成的摘要與人工編寫的摘要高度一致。

📄 許可證

本項目採用MIT許可證。

📖 引用

BibTeX:

@article{kipper_t5_summarizer,
 // SOON
}

👨‍💻 作者

本模型卡片由 Fernanda Kipper 編寫。