Ledbill

🚀 長序列編碼器 - 解碼器（LED）在Billsum數據集上微調模型

本模型是 led-base-16384 在 billsum 數據集上的微調版本。它能夠有效處理長文檔摘要任務，為相關領域的應用提供了強大的支持。

🚀 快速開始

本模型是 led-base-16384 在 billsum 數據集上的微調版本。如 Iz Beltagy、Matthew E. Peters、Arman Cohan 在 Longformer: The Long-Document Transformer 中所述，led-base-16384 是從 bart-base 初始化而來，因為這兩個模型具有完全相同的架構。為了能夠處理 16K 個標記，bart-base 的位置嵌入矩陣被簡單地複製了 16 次。

💻 使用示例

基礎用法

from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

device = "cuda" if torch.cuda.is_available() else "cpu"

tokenizer = AutoTokenizer.from_pretrained("d0r1h/LEDBill")
model = AutoModelForSeq2SeqLM.from_pretrained("d0r1h/LEDBill", return_dict_in_generate=True).to(device)

case = "......."

input_ids = tokenizer(case, return_tensors="pt").input_ids.to(device)
global_attention_mask = torch.zeros_like(input_ids)
global_attention_mask[:, 0] = 1

sequences = model.generate(input_ids, 
                           global_attention_mask=global_attention_mask).sequences
summary = tokenizer.batch_decode(sequences, 
                                 skip_special_tokens=True)

📚 詳細文檔

當模型用於總結 Billsum 文檔（10 個樣本）時，取得了以下結果：

此筆記本展示瞭如何有效地將 led 用於下游任務，如摘要生成。

📄 許可證

本項目採用 Apache-2.0 許可證。