Led Base 16384 Billsum Summarization

🚀 Artifact - AI/led_base_16384_billsum_summarization模型

该模型基于led - base - 16384在billsum数据集上进行微调，可用于法案文本的摘要生成，有效处理长文档摘要任务。

🚀 快速开始

在Transformers库中使用

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("Artifact-AI/led_base_16384_billsum_summarization")
model = AutoModelForSeq2SeqLM.from_pretrained("Artifact-AI/led_base_16384_billsum_summarization")

✨ 主要特性

• 微调优化：该模型是在led - base - 16384基础上，针对billsum数据集进行微调，更适配法案文本的摘要生成任务。
• 长文档处理：能够处理长达16K个标记的长文本，通过将bart - base的位置嵌入矩阵复制16次，实现对长文档的有效处理。

📚 详细文档

模型初始化

在论文《Longformer: The Long - Document Transformer》中，作者Iz Beltagy、Matthew E. Peters和Arman Cohan指出，led - base - 16384是从bart - base初始化而来，因为这两个模型具有相同的架构。为了能够处理16K个标记，简单地将bart - base的位置嵌入矩阵复制了16次。

训练数据集

该模型在BillSum摘要数据集上进行训练。

模型测试

你可以点击下面的链接，在Colab中测试该模型：

模型效果

📄 许可证

文档未提及相关许可证信息。

📖 引用信息

如果你使用了该模型，请按照以下格式进行引用：

@misc{led_base_16384_billsum_summarization,
    title={led_base_16384_billsum_summarization},
    author={Matthew Kenney},
    year={2023}
}