Led Base Book Summary

🚀 長文本摘要模型

本項目聚焦於長文本摘要領域，旨在解決傳統基於Transformer模型在處理長序列時計算成本過高的問題。通過引入如BigBird等模型，能夠以更低的計算成本處理更長的序列，在長文本摘要、長上下文問答等任務中取得了優異的成績。同時，項目還提供了BookSum數據集，為長文本敘事摘要系統帶來了新的挑戰和機遇。

🚀 快速開始

你可以直接使用提供的模型進行推理，推理參數設置如下：

{
    "max_length": 96,
    "min_length": 8,
    "no_repeat_ngram_size": 3,
    "early_stopping": true,
    "repetition_penalty": 3.5,
    "length_penalty": 0.3,
    "encoder_no_repeat_ngram_size": 3,
    "num_beams": 4
}

✨ 主要特性

• 處理長序列：能夠處理長度達到4096的序列，相比傳統模型有顯著提升。
• 低計算成本：採用塊稀疏注意力機制，降低了計算複雜度。
• 多任務表現優異：在長文本摘要、長上下文問答等任務中取得了SOTA成績。
• 提供數據集：引入BookSum數據集，包含文學領域的長文檔及不同粒度的摘要。

📦 安裝指南

文檔未提及安裝步驟，故跳過此章節。

💻 使用示例

基礎用法

文檔未提供基礎用法代碼示例，故跳過此部分。

高級用法

文檔未提供高級用法代碼示例，故跳過此部分。

📚 詳細文檔

模型介紹

基於Transformer的模型在許多自然語言處理任務中表現出色，但處理長序列時存在 $O(n^2)$ 的時間和內存複雜度問題。BigBird模型通過塊稀疏注意力機制解決了這一問題，能夠以較低的計算成本處理長序列。

數據集介紹

BookSum是一個用於長文本敘事摘要的數據集，涵蓋了小說、戲劇和故事等文學領域的源文檔，幷包含段落級、章節級和書籍級三個難度遞增的粒度的高度抽象的人工編寫摘要。

推理參數

推理時可設置以下參數：

模型評估結果

🔧 技術細節

文檔未提供足夠的技術實現細節（少於50字），故跳過此章節。

📄 許可證

本項目採用以下許可證：

• Apache-2.0
• BSD-3-Clause