Led Base 16384 Billsum Summarization

🚀 Longformer Encoder-Decoder (LED)をBillSumでファインチューニング

このモデルは、billsumデータセットでled-base-16384をファインチューニングしたバージョンです。Iz Beltagy、Matthew E. Peters、Arman Cohanによる論文「Longformer: The Long-Document Transformer」で説明されているように、led-base-16384はbart-baseから初期化されました。両モデルはまったく同じアーキテクチャを共有しており、16Kトークンを処理できるように、bart-baseの位置埋め込み行列を16回コピーしました。

🚀 クイックスタート

Transformersでの使用方法

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("Artifact-AI/led_base_16384_billsum_summarization")

model = AutoModelForSeq2SeqLM.from_pretrained("Artifact-AI/led_base_16384_billsum_summarization")

結果

このモデルは、こちらにあるBillSum要約データセットで学習されています。

モデルのテスト

以下のリンクからモデルをテストするノートブックを見つけることができます。

📚 ドキュメント

引用と著者

@misc{led_base_16384_billsum_summarization,
    title={led_base_16384_billsum_summarization},
    author={Matthew Kenney},
    year={2023}
}