Bart Faithful Summary Detector

🚀 bart-faithful-summary-detector

这是一个用于文本分类的模型，可对摘要是否忠实于原文进行分类判断。它基于BART（基础）模型进行训练，能有效识别摘要与原文的忠实度关系。

🚀 快速开始

本模型可用于判断摘要是否忠实于原文。使用时，将摘要和源文档拼接作为输入（注意，摘要需要是第一句）。

✨ 主要特性

• 基于BART（基础）模型训练，用于分类判断摘要是否忠实于原文。
• 详细信息可查看我们发表于 NAACL'21的论文。

📦 安装指南

暂未提供相关安装步骤。

💻 使用示例

基础用法

from transformers import AutoTokenizer, AutoModelForSequenceClassification
  
tokenizer = AutoTokenizer.from_pretrained("CogComp/bart-faithful-summary-detector")
model = AutoModelForSequenceClassification.from_pretrained("CogComp/bart-faithful-summary-detector")

article = "Ban Ki-Moon was re-elected for a second term by the UN General Assembly, unopposed and unanimously, on 21 June 2011."

bad_summary = "Ban Ki-moon was elected for a second term in 2007."
good_summary = "Ban Ki-moon was elected for a second term in 2011."

bad_pair = tokenizer(text=bad_summary, text_pair=article, return_tensors='pt')
good_pair = tokenizer(text=good_summary, text_pair=article, return_tensors='pt')

bad_score = model(**bad_pair)
good_score = model(**good_pair)

print(good_score[0][:, 1] > bad_score[0][:, 1]) # True, label mapping: "0" -> "Hallucinated" "1" -> "Faithful"

📚 详细文档

本模型将摘要和源文档拼接作为输入，其中摘要需为第一句。通过模型计算得分，根据得分判断摘要是否忠实于原文。标签映射为："0" 表示 "虚假信息"，"1" 表示 "忠实原文"。

📄 许可证

本项目采用 cc-by-sa-4.0 许可证。

BibTeX引用信息

@inproceedings{CZSR21,
    author = {Sihao Chen and Fan Zhang and Kazoo Sone and Dan Roth},
    title = {{Improving Faithfulness in Abstractive Summarization with Contrast Candidate Generation and Selection}},
    booktitle = {NAACL},
    year = {2021}
}