Summllama3 8B

🚀 SummLlama3-8B

你是否正在尋找一個能夠跨多個領域生成更符合人類偏好摘要的摘要生成器？我們的SummLlama3-8B可能正是你所需要的！

SummLlama3基於Llama3-8B-Instruct進行初始化，並使用直接偏好優化（DPO）方法，基於大規模（超過10萬條）摘要反饋進行了額外訓練。這些反饋涵蓋了從短文本到長文本的各種輸入文檔，包括對話和非對話格式，並且跨越了七個不同的領域：

• 四個非對話領域：新聞、生活方式、報告、醫學
• 三個對話領域：日常生活、訪談、會議

令人驚訝的是，它在性能上超過了規模幾乎大10倍的Llama3-70B-Instruct，甚至超過了GPT-4o，同時還提供了更快的推理速度。

✨ 主要特性

• 多領域適用：支持多種領域的文本摘要生成，包括新聞、生活、報告、醫學等非對話領域，以及日常生活、訪談、會議等對話領域。
• 性能卓越：在忠實度、完整性和簡潔性方面表現出色，超過了Llama3-70B-Instruct和GPT-4o，同時推理速度更快。
• 基於反饋訓練：使用大規模摘要反饋進行訓練，生成的摘要更符合人類偏好。

📦 安裝指南

文檔未提供安裝步驟，故跳過此章節。

💻 使用示例

基礎用法

我們建議使用以下提示來獲取摘要，因為我們使用此提示對模型進行了訓練。

def format_chat_template(document):
    instruction = "Please summarize the input documnet."
    row_json = [{"role": "user", "content": f"Below is an instruction that describes a task. Write a response that appropriately completes the request.\n\n### Instruction:\n{instruction}\n\n### Input:\n{document}\n\n### Response:\n"}]
    return tokenizer.apply_chat_template(row_json, tokenize=False)

📚 詳細文檔

評估結果

• 自動化評估結果 | 配置 | 忠實度 | 完整性 | 簡潔性 | 平均得分 | |----------|------------|-----------|-----------|----------| | Llama3-8B-Instruct | 0.864 | 0.583 | 0.450 | 0.632 | | Llama3-70B-Instruct | 0.931 | 0.596 | 0.487 | 0.671 | | GPT-4o | 0.940 | 0.657 | 0.437 | 0.678 | | SummLlama3-8B | 0.931 | 0.614 | 0.659 | 0.735 | | SummLlama3-70B | 0.950 | 0.632 | 0.754 | 0.779 |

• 人工評估結果 | 配置 | 忠實度 | 完整性 | 簡潔性 | 平均得分 | |----------|------------|-----------|-----------|----------| | Llama3-8B-Instruct | 0.902 | 0.636 | 0.784 | 0.774 | | Llama3-70B-Instruct | 0.953 | 0.659 | 0.792 | 0.801 | | SummLlama3-8B | 0.980 | 0.697 | 0.959 | 0.879 |

示例對比

以下是一個示例，展示了SummLlama3-8B相對於Llama3-8/70B-Instruct在摘要生成上的改進：

SummLlama3-8B的摘要更符合人類偏好，原因如下：

• 核心聚焦：準確抓住了對話的主要主題，即感恩節晚餐的安排。突出了兩人確認計劃、討論帶什麼以及最終確定Person2帶酒而非派的過程，保持了核心上下文。
• 包含關鍵事實：涵蓋了對話的重要細節，包括Person2最初提出帶甜點（南瓜派）以及因另一名家庭成員負責甜點而改為帶酒的轉變。其他摘要往往忽略或簡化了這一過程，而SummLlama3-8B完整地捕捉了互動的關鍵事件。
• 清晰簡潔：結構簡潔明瞭，有效地總結了對話，沒有不必要的細節。以清晰的方式呈現了討論的流程和結果，使讀者易於理解。
• 準確描述角色：明確將Person1識別為主人，Paul（Person2）識別為客人，有助於澄清他們的關係和對話的性質。與其他摘要相比，SummLlama3-8B的這一區分更加明確。

🔧 技術細節

SummLlama3基於Llama3-8B-Instruct進行初始化，並使用直接偏好優化（DPO）方法，基於大規模（超過10萬條）摘要反饋進行了額外訓練。反饋涵蓋了多種輸入文檔和七個不同領域。

📄 許可證

文檔未提供許可證信息，故跳過此章節。

其他版本

• SummLlama3-70B：https://huggingface.co/DISLab/SummLlama3-70B
• SummLlama3.1系列
  • https://huggingface.co/DISLab/SummLlama3.1-8B
  • https://huggingface.co/DISLab/SummLlama3.1-70B
• SummLlama3.2系列：https://huggingface.co/DISLab/SummLlama3.2-3B

相關論文

請參考我們的論文，瞭解如何在文本摘要的背景下利用大語言模型生成的反饋。

信息表格