Summllama3.1 8B

🚀 SummLlama3.1-8B

你是否正在尋找一個能夠跨多個領域生成更符合人類偏好摘要的摘要生成器？我們的 SummLlama3.1-8B 可能正是你所需要的！SummLlama3.1-8B 基於 Llama3.1-8B-Instruct 進行初始化，並使用基於大規模（超過 10 萬條）摘要反饋的直接偏好優化（DPO）進行了額外訓練。

✨ 主要特性

• 多領域適用：反饋涵蓋了從短文本到長文本的各種輸入文檔，包括對話和非對話格式，並且跨越了七個不同的領域，其中四個非對話領域為新聞、生活方式、報告、醫療；三個對話領域為日常生活、訪談、會議。
• 性能卓越：該模型在忠實性、完整性和簡潔性方面表現出色，這也是人類判斷一個優秀摘要生成器的三個重要方面。
  • 忠實性：摘要生成器不會篡改輸入文本中的信息，也不會添加任何無法從輸入文本直接推斷出的信息。
  • 完整性：摘要生成器確保輸出摘要包含輸入文本中的所有關鍵信息。
  • 簡潔性：摘要生成器避免在輸出中包含關鍵信息之外的信息，保持摘要簡潔明瞭。

📚 詳細文檔

自動化評估結果

請參考我們的論文，瞭解如何在文本摘要的背景下利用大語言模型生成的反饋。

相關模型鏈接

• SummLlama3-70B
  • https://huggingface.co/DISLab/SummLlama3-8B
  • https://huggingface.co/DISLab/SummLlama3-70B
• SummLlama3.1 系列
  • https://huggingface.co/DISLab/SummLlama3.1-8B
  • https://huggingface.co/DISLab/SummLlama3.1-70B
• SummLlama3.2 系列
  • https://huggingface.co/DISLab/SummLlama3.2-3B

💻 使用示例

推薦的文本摘要提示

我們建議使用以下提示來獲取摘要，因為我們是使用此提示對模型進行訓練的。

def format_chat_template(document):
    instruction = "Please summarize the input documnet."
    row_json = [{"role": "user", "content": f"Below is an instruction that describes a task. Write a response that appropriately completes the request.\n\n### Instruction:\n{instruction}\n\n### Input:\n{document}\n\n### Response:\n"}]
    return tokenizer.apply_chat_template(row_json, tokenize=False)

評估結果

人工評估

使用 FineSurE 進行的自動化評估

示例

以下是一個示例，展示了 SummLlama3-8B 相對於 Llama3-8/70B-Instruct 在摘要生成方面的改進：

SummLlama3-8B 的摘要可以被認為是更符合人類偏好的摘要，原因如下：

• 核心聚焦：摘要準確地抓住了對話的主要主題，即感恩節晚餐的安排。它突出了兩人如何確認計劃、討論帶什麼東西以及最終確定 Person2 帶酒而不是派的決定，保持了核心上下文。
• 關鍵事實包含：摘要涵蓋了對話中的重要細節，包括 Person2 最初提出帶甜點（南瓜派）以及由於另一位家庭成員負責甜點而改為帶酒的轉變。其他摘要往往會忽略或簡化這一過程，而 SummLlama3-8B 完整地捕捉了對話中的關鍵事件。
• 清晰簡潔：摘要以直接、簡潔的方式進行結構組織，有效地總結了對話，沒有包含不必要的細節。它清晰地呈現了討論的流程和結果，使讀者易於理解。事件的邏輯順序得到了保持，確保了敘述的流暢性。
• 角色準確描繪：摘要明確將 Person1 識別為主人，將 Paul（Person2）識別為客人，這有助於澄清他們之間的關係和對話的性質。與其他摘要相比，SummLlama3-8B 對這些角色的區分更加明確。