Led Large Book Summary

🚀 pszemraj/led-large-book-summary

本項目聚焦於文本摘要任務，特別是長文檔的摘要生成。通過引入創新的模型和數據集，有效解決了傳統模型在處理長序列時計算成本高的問題，為長文本摘要領域提供了高效且精準的解決方案。

🚀 快速開始

你可以直接使用本模型進行推理，以下是推理時的參數設置：

✨ 主要特性

• 處理長序列能力：Transformer 架構的模型在處理長序列時存在時間和內存複雜度高的問題，而本項目中的 BigBird 模型採用塊稀疏注意力機制，能夠以較低的計算成本處理長度達 4096 的序列。
• 多領域數據集：引入了 BookSum 數據集，該數據集涵蓋了小說、戲劇和故事等文學領域的源文檔，幷包含段落、章節和書籍三個粒度級別的高度抽象的人工編寫摘要，為摘要系統帶來了獨特的挑戰。
• 多模型評估：為了便於後續研究，對多個抽取式和抽象式摘要模型進行了訓練和評估，為數據集提供了基線模型。

💻 使用示例

基礎用法

以下是一個簡單的示例，展示瞭如何使用 BigBird 模型處理長序列：

# 假設我們有一個長文本序列
long_sequence = "這裡是一個很長的文本序列..."
# 使用 BigBird 模型進行處理
# 這裡省略具體的代碼實現，因為需要根據具體的庫和環境進行調整

高級用法

在實際應用中，你可以根據具體需求調整模型的參數，以獲得更好的性能：

# 調整模型參數
model = BigBirdModel(
    attention_type="block_sparse",
    max_length=4096,
    # 其他參數...
)
# 對長文本進行處理
output = model(long_sequence)

📚 詳細文檔

數據集介紹

• BookSum 數據集：解決了現有文本摘要數據集缺乏長程因果和時間依賴、存在佈局和風格偏差的問題。該數據集涵蓋了文學領域的源文檔，並提供了三個粒度級別的高度抽象的人工編寫摘要。

模型介紹

• BigBird 模型：通過塊稀疏注意力機制，有效降低了處理長序列的計算成本，能夠處理長度達 4096 的序列，在長文檔摘要、長上下文問答等任務中取得了 SOTA 結果。

🔧 技術細節

注意力機制

傳統的 Transformer 模型採用全注意力機制，時間和內存複雜度為 $O(n^2)$，在處理長序列時計算成本高。而 BigBird 模型採用塊稀疏注意力機制，通過近似全注意力矩陣，降低了計算成本。

模型架構

BigBird 模型由編碼器、映射函數和解碼器組成。編碼器根據觀測值找到最可能的潛在變量 $z$，映射函數將潛在變量 $z$ 映射到神經網絡參數 $\theta$，解碼器根據潛在變量 $z$ 找到最可能的 $\theta$。

📄 許可證

本項目採用以下許可證：

• Apache-2.0
• BSD-3-Clause

📊 模型評估結果