Bigbird Pegasus Large Pubmed

🚀 BigBirdPegasusモデル (大規模)

BigBirdは、スパースアテンションに基づくトランスフォーマーで、BERTなどのトランスフォーマーベースのモデルをはるかに長いシーケンスに拡張します。さらに、BigBirdは、スパースモデルが扱える完全なトランスフォーマーの能力に関する理論的理解を伴っています。

BigBirdはこの論文で紹介され、最初はこのリポジトリで公開されました。

免責事項: BigBirdを公開したチームはこのモデルのモデルカードを作成していないため、このモデルカードはHugging Faceチームによって作成されています。

🚀 クイックスタート

BigBirdは、通常のアテンション（つまりBERTのアテンション）ではなくブロックスパースアテンションに依存しており、BERTと比較してはるかに低い計算コストで最大4096の長さのシーケンスを処理することができます。長文書要約や長いコンテキストを伴う質問応答など、非常に長いシーケンスを扱うさまざまなタスクでSOTAを達成しています。

✨ 主な機能

• ブロックスパースアテンションを使用し、低コストで長いシーケンスを処理できます。
• 長文書要約や質問応答などのタスクでSOTAを達成しています。

💻 使用例

基本的な使用法

from transformers import BigBirdPegasusForConditionalGeneration, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("google/bigbird-pegasus-large-pubmed")

# by default encoder-attention is `block_sparse` with num_random_blocks=3, block_size=64
model = BigBirdPegasusForConditionalGeneration.from_pretrained("google/bigbird-pegasus-large-pubmed")

# decoder attention type can't be changed & will be "original_full"
# you can change `attention_type` (encoder only) to full attention like this:
model = BigBirdPegasusForConditionalGeneration.from_pretrained("google/bigbird-pegasus-large-pubmed", attention_type="original_full")

# you can change `block_size` & `num_random_blocks` like this:
model = BigBirdPegasusForConditionalGeneration.from_pretrained("google/bigbird-pegasus-large-pubmed", block_size=16, num_random_blocks=2)

text = "Replace me by any text you'd like."
inputs = tokenizer(text, return_tensors='pt')
prediction = model.generate(**inputs)
prediction = tokenizer.batch_decode(prediction)

🔧 技術詳細

このチェックポイントは、scientific_papersのpubmedデータセットで要約のためにBigBirdPegasusForConditionalGenerationをファインチューニングした後に得られました。

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。

📚 ドキュメント

BibTeXエントリと引用情報

@misc{zaheer2021big,
      title={Big Bird: Transformers for Longer Sequences}, 
      author={Manzil Zaheer and Guru Guruganesh and Avinava Dubey and Joshua Ainslie and Chris Alberti and Santiago Ontanon and Philip Pham and Anirudh Ravula and Qifan Wang and Li Yang and Amr Ahmed},
      year={2021},
      eprint={2007.14062},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}

メトリクス情報

メトリクス結果

pubmedデータセット

arxivデータセット