Ledbill

🚀 长序列编码器 - 解码器（LED）在Billsum数据集上微调模型

本模型是 led-base-16384 在 billsum 数据集上的微调版本。它能够有效处理长文档摘要任务，为相关领域的应用提供了强大的支持。

🚀 快速开始

本模型是 led-base-16384 在 billsum 数据集上的微调版本。如 Iz Beltagy、Matthew E. Peters、Arman Cohan 在 Longformer: The Long-Document Transformer 中所述，led-base-16384 是从 bart-base 初始化而来，因为这两个模型具有完全相同的架构。为了能够处理 16K 个标记，bart-base 的位置嵌入矩阵被简单地复制了 16 次。

💻 使用示例

基础用法

from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

device = "cuda" if torch.cuda.is_available() else "cpu"

tokenizer = AutoTokenizer.from_pretrained("d0r1h/LEDBill")
model = AutoModelForSeq2SeqLM.from_pretrained("d0r1h/LEDBill", return_dict_in_generate=True).to(device)

case = "......."

input_ids = tokenizer(case, return_tensors="pt").input_ids.to(device)
global_attention_mask = torch.zeros_like(input_ids)
global_attention_mask[:, 0] = 1

sequences = model.generate(input_ids, 
                           global_attention_mask=global_attention_mask).sequences
summary = tokenizer.batch_decode(sequences, 
                                 skip_special_tokens=True)

📚 详细文档

当模型用于总结 Billsum 文档（10 个样本）时，取得了以下结果：

此笔记本展示了如何有效地将 led 用于下游任务，如摘要生成。

📄 许可证

本项目采用 Apache-2.0 许可证。