Summllama3.2 3B

🚀 SummLlama3.2-3B

你是否正在尋找一個能夠在多個領域生成更符合人類偏好摘要的摘要生成器？我們的 SummLlama3.2-3B 或許正是你所需要的！SummLlama3.2-3B 基於 Llama3.2-3B-Instruct 進行初始化，並使用基於大規模（超過 10 萬條）摘要反饋的直接偏好優化（DPO）方法進行了額外訓練。

🚀 快速開始

推薦的文本摘要提示

我們建議使用以下提示來獲取摘要，因為我們是使用此提示來訓練模型的。

def format_chat_template(document):
    instruction = "Please summarize the input document."
    row_json = [{"role": "user", "content": f"Below is an instruction that describes a task. Write a response that appropriately completes the request.\n\n### Instruction:\n{instruction}\n\n### Input:\n{document}\n\n### Response:\n"}]
    return tokenizer.apply_chat_template(row_json, tokenize=False)

✨ 主要特性

模型基礎信息

反饋數據範圍

反饋涵蓋了從短文本到長文本的各種輸入文檔，包括對話和非對話格式，並跨越七個不同領域：

• 四個非對話領域：新聞、生活方式、報告、醫療
• 三個對話領域：日常生活、訪談、會議

自動化評估結果

模型優勢

該模型在忠實度、完整性和簡潔度方面表現出色，這是人類評判一個優秀摘要生成器的三個重要方面：

• 忠實度：摘要生成器不會篡改輸入文本中的信息，也不會添加任何無法從輸入文本直接推斷出的信息。
• 完整性：摘要生成器確保輸出摘要包含輸入文本中的所有關鍵信息。
• 簡潔度：摘要生成器避免在輸出中包含關鍵信息以外的信息，保持摘要簡潔明瞭。

綜合評估結果

基於我們的綜合評估，包括人工和自動化評估摘要質量，SummLlama3 相較於原始 Llama3 系列有了顯著改進。

人工評估

使用 FineSurE 進行的自動化評估

示例

以下是一個示例，展示了 SummLlama3-8B 相較於 Llama3-8/70B-Instruct 在摘要生成上的改進：

SummLlama3-8B 的摘要可以被認為是更符合人類偏好的摘要，原因如下：

• 核心聚焦：摘要準確抓住了對話的主題，即感恩節晚餐的安排。它突出了兩人如何確認計劃、討論帶什麼以及最終確定人物 2 帶酒而不是派的決定，保持了核心上下文。
• 關鍵事實包含：摘要涵蓋了對話中的重要細節，包括人物 2 最初提出帶甜點（南瓜派）以及因另一位家庭成員負責甜點而改為帶酒的轉變。其他摘要往往忽略或簡化了這一過程，而 SummLlama3-8B 完整地捕捉了對話中的關鍵事件。
• 清晰簡潔：摘要結構簡潔明瞭，有效地總結了對話，沒有不必要的細節。它清晰地呈現了討論的流程和結果，使讀者易於理解。事件的邏輯順序得以保持，確保了敘述的流暢性。
• 角色準確描繪：摘要明確將人物 1 確定為主人，人物 2（保羅）確定為客人，有助於澄清他們的關係和對話的性質。與其他摘要相比，SummLlama3-8B 對角色的區分更加明確。

相關鏈接

• SummLlama3-70B：
  • https://huggingface.co/DISLab/SummLlama3-8B
  • https://huggingface.co/DISLab/SummLlama3-70B
• SummLlama3.1 系列：
  • https://huggingface.co/DISLab/SummLlama3.1-8B
  • https://huggingface.co/DISLab/SummLlama3.1-70B
• SummLlama3.2 系列：
  • https://huggingface.co/DISLab/SummLlama3.2-3B

參考論文

請參考 我們的論文 以瞭解如何在文本摘要的背景下利用大語言模型生成的反饋。