Summllama3 70B

🚀 SummLlama3-70B

你是否正在寻找一个能够跨多个领域生成更符合人类偏好摘要的摘要生成器？我们的 SummLlama3-70B 或许正是你所需要的！SummLlama3-70B 基于 Llama3-70B-Instruct 进行初始化，并使用直接偏好优化（DPO）方法，基于大规模（超过 10 万条）摘要反馈进行了额外训练。

基础信息

训练反馈数据

反馈数据涵盖了从短文本到长文本的各种输入文档，包括对话和非对话格式，并且跨越了七个不同的领域：

• 四个非对话领域：新闻、生活方式、报告、医学
• 三个对话领域：日常生活、访谈、会议

自动化评估结果

更多详细信息请参考我们的论文，了解如何在文本摘要的上下文中利用大语言模型生成的反馈。

模型链接

• SummLlama3-70B
  • https://huggingface.co/DISLab/SummLlama3-8B
  • https://huggingface.co/DISLab/SummLlama3-70B
• SummLlama3.1 系列
  • https://huggingface.co/DISLab/SummLlama3.1-8B
  • https://huggingface.co/DISLab/SummLlama3.1-70B
• SummLlama3.2 系列
  • https://huggingface.co/DISLab/SummLlama3.2-3B

💻 使用示例

基础用法

我们推荐使用以下提示来获取摘要，因为我们是使用此提示对模型进行训练的。

def format_chat_template(document):
    instruction = "Please summarize the input documnet."
    row_json = [{"role": "user", "content": f"Below is an instruction that describes a task. Write a response that appropriately completes the request.\n\n### Instruction:\n{instruction}\n\n### Input:\n{document}\n\n### Response:\n"}]
    return tokenizer.apply_chat_template(row_json, tokenize=False)

✨ 主要特性

本摘要生成器不依赖昂贵的人工反馈，而是利用大语言模型（LLMs）生成的高质量、多维度和细粒度的反馈。该模型在忠实度、完整性和简洁度方面表现出色，这也是人类评判一个优秀摘要生成器的三个重要方面：

• 忠实度：摘要生成器不会篡改输入文本中的信息，也不会添加任何无法从输入文本直接推断出的信息。
• 完整性：摘要生成器确保输出摘要包含输入文本中的所有关键信息。
• 简洁度：摘要生成器避免在输出中包含关键信息以外的信息，保持摘要简洁明了。

基于我们全面的评估，包括人工和自动化的摘要质量评估，SummLlama3 相较于原始的 Llama3 系列有了显著的改进。

人工评估结果

自动化评估结果（使用 FineSurE）

示例对比

以下是一个示例，展示了 SummLlama3-8B 相较于 Llama3-8/70B-Instruct 在摘要生成上的改进：

对话内容

不同模型的摘要结果

SummLlama3-8B 的摘要更符合人类偏好，原因如下：

• 核心聚焦：摘要准确抓住了对话的主题，即围绕感恩节晚餐的安排。突出了两人如何确认计划、讨论带什么以及最终确定 Person2 带酒而非派，保持了核心上下文。
• 关键事实涵盖：摘要涵盖了对话中的重要细节，包括 Person2 最初提出带甜点（南瓜派）以及因家庭成员负责甜点而改为带酒。其他摘要往往忽略或简化了这一过程，而 SummLlama3-8B 完整地捕捉了互动的关键事件。
• 清晰简洁：摘要结构清晰、简洁，有效地总结了对话，没有多余的细节。它清晰地呈现了讨论的流程和结果，便于读者理解。事件的逻辑顺序得以保持，确保了叙述的流畅性。
• 角色准确描绘：摘要明确将 Person1 识别为主人，将 Paul（Person2）识别为客人，有助于澄清他们的关系和对话的性质。与其他摘要相比，SummLlama3-8B 对这些角色的区分更加明确。