Summllama3 70B

🚀 SummLlama3-70B

你是否正在尋找一個能夠跨多個領域生成更符合人類偏好摘要的摘要生成器？我們的 SummLlama3-70B 或許正是你所需要的！SummLlama3-70B 基於 Llama3-70B-Instruct 進行初始化，並使用直接偏好優化（DPO）方法，基於大規模（超過 10 萬條）摘要反饋進行了額外訓練。

基礎信息

訓練反饋數據

反饋數據涵蓋了從短文本到長文本的各種輸入文檔，包括對話和非對話格式，並且跨越了七個不同的領域：

• 四個非對話領域：新聞、生活方式、報告、醫學
• 三個對話領域：日常生活、訪談、會議

自動化評估結果

更多詳細信息請參考我們的論文，瞭解如何在文本摘要的上下文中利用大語言模型生成的反饋。

模型鏈接

• SummLlama3-70B
  • https://huggingface.co/DISLab/SummLlama3-8B
  • https://huggingface.co/DISLab/SummLlama3-70B
• SummLlama3.1 系列
  • https://huggingface.co/DISLab/SummLlama3.1-8B
  • https://huggingface.co/DISLab/SummLlama3.1-70B
• SummLlama3.2 系列
  • https://huggingface.co/DISLab/SummLlama3.2-3B

💻 使用示例

基礎用法

我們推薦使用以下提示來獲取摘要，因為我們是使用此提示對模型進行訓練的。

def format_chat_template(document):
    instruction = "Please summarize the input documnet."
    row_json = [{"role": "user", "content": f"Below is an instruction that describes a task. Write a response that appropriately completes the request.\n\n### Instruction:\n{instruction}\n\n### Input:\n{document}\n\n### Response:\n"}]
    return tokenizer.apply_chat_template(row_json, tokenize=False)

✨ 主要特性

本摘要生成器不依賴昂貴的人工反饋，而是利用大語言模型（LLMs）生成的高質量、多維度和細粒度的反饋。該模型在忠實度、完整性和簡潔度方面表現出色，這也是人類評判一個優秀摘要生成器的三個重要方面：

• 忠實度：摘要生成器不會篡改輸入文本中的信息，也不會添加任何無法從輸入文本直接推斷出的信息。
• 完整性：摘要生成器確保輸出摘要包含輸入文本中的所有關鍵信息。
• 簡潔度：摘要生成器避免在輸出中包含關鍵信息以外的信息，保持摘要簡潔明瞭。

基於我們全面的評估，包括人工和自動化的摘要質量評估，SummLlama3 相較於原始的 Llama3 系列有了顯著的改進。

人工評估結果

自動化評估結果（使用 FineSurE）

示例對比

以下是一個示例，展示了 SummLlama3-8B 相較於 Llama3-8/70B-Instruct 在摘要生成上的改進：

對話內容

不同模型的摘要結果

SummLlama3-8B 的摘要更符合人類偏好，原因如下：

• 核心聚焦：摘要準確抓住了對話的主題，即圍繞感恩節晚餐的安排。突出了兩人如何確認計劃、討論帶什麼以及最終確定 Person2 帶酒而非派，保持了核心上下文。
• 關鍵事實涵蓋：摘要涵蓋了對話中的重要細節，包括 Person2 最初提出帶甜點（南瓜派）以及因家庭成員負責甜點而改為帶酒。其他摘要往往忽略或簡化了這一過程，而 SummLlama3-8B 完整地捕捉了互動的關鍵事件。
• 清晰簡潔：摘要結構清晰、簡潔，有效地總結了對話，沒有多餘的細節。它清晰地呈現了討論的流程和結果，便於讀者理解。事件的邏輯順序得以保持，確保了敘述的流暢性。
• 角色準確描繪：摘要明確將 Person1 識別為主人，將 Paul（Person2）識別為客人，有助於澄清他們的關係和對話的性質。與其他摘要相比，SummLlama3-8B 對這些角色的區分更加明確。