Bart Faithful Summary Detector

🚀 bart-faithful-summary-detector

這是一個用於文本分類的模型，可對摘要是否忠實於原文進行分類判斷。它基於BART（基礎）模型進行訓練，能有效識別摘要與原文的忠實度關係。

🚀 快速開始

本模型可用於判斷摘要是否忠實於原文。使用時，將摘要和源文檔拼接作為輸入（注意，摘要需要是第一句）。

✨ 主要特性

• 基於BART（基礎）模型訓練，用於分類判斷摘要是否忠實於原文。
• 詳細信息可查看我們發表於 NAACL'21的論文。

📦 安裝指南

暫未提供相關安裝步驟。

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModelForSequenceClassification
  
tokenizer = AutoTokenizer.from_pretrained("CogComp/bart-faithful-summary-detector")
model = AutoModelForSequenceClassification.from_pretrained("CogComp/bart-faithful-summary-detector")

article = "Ban Ki-Moon was re-elected for a second term by the UN General Assembly, unopposed and unanimously, on 21 June 2011."

bad_summary = "Ban Ki-moon was elected for a second term in 2007."
good_summary = "Ban Ki-moon was elected for a second term in 2011."

bad_pair = tokenizer(text=bad_summary, text_pair=article, return_tensors='pt')
good_pair = tokenizer(text=good_summary, text_pair=article, return_tensors='pt')

bad_score = model(**bad_pair)
good_score = model(**good_pair)

print(good_score[0][:, 1] > bad_score[0][:, 1]) # True, label mapping: "0" -> "Hallucinated" "1" -> "Faithful"

📚 詳細文檔

本模型將摘要和源文檔拼接作為輸入，其中摘要需為第一句。通過模型計算得分，根據得分判斷摘要是否忠實於原文。標籤映射為："0" 表示 "虛假信息"，"1" 表示 "忠實原文"。

📄 許可證

本項目採用 cc-by-sa-4.0 許可證。

BibTeX引用信息

@inproceedings{CZSR21,
    author = {Sihao Chen and Fan Zhang and Kazoo Sone and Dan Roth},
    title = {{Improving Faithfulness in Abstractive Summarization with Contrast Candidate Generation and Selection}},
    booktitle = {NAACL},
    year = {2021}
}