Ledbill

🚀 Longformer Encoder-Decoder (LED) を Billsum でファインチューニングしたモデル

このモデルは、led-base-16384 を billsum データセットでファインチューニングしたものです。Iz Beltagy、Matthew E. Peters、Arman Cohanによる Longformer: The Long-Document Transformer で説明されているように、led-base-16384 は bart-base から初期化されました。両モデルはまったく同じアーキテクチャを共有しているため、16Kトークンを処理できるようにするために、bart-base の位置埋め込み行列が単純に16回コピーされました。

🚀 クイックスタート

このモデルを使用するには、以下の手順に従ってください。

💻 使用例

基本的な使用法

from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

device = "cuda" if torch.cuda.is_available() else "cpu"

tokenizer = AutoTokenizer.from_pretrained("d0r1h/LEDBill")
model = AutoModelForSeq2SeqLM.from_pretrained("d0r1h/LEDBill", return_dict_in_generate=True).to(device)

case = "......."

input_ids = tokenizer(case, return_tensors="pt").input_ids.to(device)
global_attention_mask = torch.zeros_like(input_ids)
global_attention_mask[:, 0] = 1

sequences = model.generate(input_ids, 
                           global_attention_mask=global_attention_mask).sequences
summary = tokenizer.batch_decode(sequences, 
                                 skip_special_tokens=True)

📚 ドキュメント

評価結果

このモデルを使用してBillsumドキュメント（10サンプル）を要約すると、以下の結果が得られます。

このノートブック では、led を要約などの下流タスクに効果的に使用する方法を示しています。

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。