Led Base Book Summary

🚀 长文本摘要模型

本项目聚焦于长文本摘要领域，旨在解决传统基于Transformer模型在处理长序列时计算成本过高的问题。通过引入如BigBird等模型，能够以更低的计算成本处理更长的序列，在长文本摘要、长上下文问答等任务中取得了优异的成绩。同时，项目还提供了BookSum数据集，为长文本叙事摘要系统带来了新的挑战和机遇。

🚀 快速开始

你可以直接使用提供的模型进行推理，推理参数设置如下：

{
    "max_length": 96,
    "min_length": 8,
    "no_repeat_ngram_size": 3,
    "early_stopping": true,
    "repetition_penalty": 3.5,
    "length_penalty": 0.3,
    "encoder_no_repeat_ngram_size": 3,
    "num_beams": 4
}

✨ 主要特性

• 处理长序列：能够处理长度达到4096的序列，相比传统模型有显著提升。
• 低计算成本：采用块稀疏注意力机制，降低了计算复杂度。
• 多任务表现优异：在长文本摘要、长上下文问答等任务中取得了SOTA成绩。
• 提供数据集：引入BookSum数据集，包含文学领域的长文档及不同粒度的摘要。

📦 安装指南

文档未提及安装步骤，故跳过此章节。

💻 使用示例

基础用法

文档未提供基础用法代码示例，故跳过此部分。

高级用法

文档未提供高级用法代码示例，故跳过此部分。

📚 详细文档

模型介绍

基于Transformer的模型在许多自然语言处理任务中表现出色，但处理长序列时存在 $O(n^2)$ 的时间和内存复杂度问题。BigBird模型通过块稀疏注意力机制解决了这一问题，能够以较低的计算成本处理长序列。

数据集介绍

BookSum是一个用于长文本叙事摘要的数据集，涵盖了小说、戏剧和故事等文学领域的源文档，并包含段落级、章节级和书籍级三个难度递增的粒度的高度抽象的人工编写摘要。

推理参数

推理时可设置以下参数：

模型评估结果

🔧 技术细节

文档未提供足够的技术实现细节（少于50字），故跳过此章节。

📄 许可证

本项目采用以下许可证：

• Apache-2.0
• BSD-3-Clause