Led Base 16384 Billsum Summarization

🚀 Artifact - AI/led_base_16384_billsum_summarization模型

該模型基於led - base - 16384在billsum數據集上進行微調，可用於法案文本的摘要生成，有效處理長文檔摘要任務。

🚀 快速開始

在Transformers庫中使用

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("Artifact-AI/led_base_16384_billsum_summarization")
model = AutoModelForSeq2SeqLM.from_pretrained("Artifact-AI/led_base_16384_billsum_summarization")

✨ 主要特性

• 微調優化：該模型是在led - base - 16384基礎上，針對billsum數據集進行微調，更適配法案文本的摘要生成任務。
• 長文檔處理：能夠處理長達16K個標記的長文本，通過將bart - base的位置嵌入矩陣複製16次，實現對長文檔的有效處理。

📚 詳細文檔

模型初始化

在論文《Longformer: The Long - Document Transformer》中，作者Iz Beltagy、Matthew E. Peters和Arman Cohan指出，led - base - 16384是從bart - base初始化而來，因為這兩個模型具有相同的架構。為了能夠處理16K個標記，簡單地將bart - base的位置嵌入矩陣複製了16次。

訓練數據集

該模型在BillSum摘要數據集上進行訓練。

模型測試

你可以點擊下面的鏈接，在Colab中測試該模型：

模型效果

📄 許可證

文檔未提及相關許可證信息。

📖 引用信息

如果你使用了該模型，請按照以下格式進行引用：

@misc{led_base_16384_billsum_summarization,
    title={led_base_16384_billsum_summarization},
    author={Matthew Kenney},
    year={2023}
}