Bigbird Pegasus Large Bigpatent

🚀 BigBirdPegasusモデル (large)

BigBirdは、Transformerベースのモデル（例えばBERT）をより長いシーケンスに拡張する、疎注意力（sparse-attention）ベースのTransformerです。さらに、BigBirdには、疎モデルが扱える完全なTransformerの能力に関する理論的な理解も備わっています。

BigBirdはこの論文で紹介され、最初はこのリポジトリで公開されました。

免責事項: BigBirdを公開したチームはこのモデルのモデルカードを作成していないため、このモデルカードはHugging Faceチームによって作成されています。

✨ 主な機能

BigBirdは通常の注意力（例えばBERTの注意力）ではなく、ブロック疎注意力（block sparse attention） に依存しており、BERTと比較してはるかに低い計算コストで最大4096の長さのシーケンスを扱うことができます。長文書要約や長いコンテキストを伴う質問応答など、非常に長いシーケンスを扱う様々なタスクでSOTA（最先端技術）を達成しています。

💻 使用例

基本的な使用法

# Code examples remain unchanged
from transformers import BigBirdPegasusForConditionalGeneration, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("google/bigbird-pegasus-large-bigpatent")

# by default encoder-attention is `block_sparse` with num_random_blocks=3, block_size=64
model = BigBirdPegasusForConditionalGeneration.from_pretrained("google/bigbird-pegasus-large-bigpatent")

# decoder attention type can't be changed & will be "original_full"
# you can change `attention_type` (encoder only) to full attention like this:
model = BigBirdPegasusForConditionalGeneration.from_pretrained("google/bigbird-pegasus-large-bigpatent", attention_type="original_full")

# you can change `block_size` & `num_random_blocks` like this:
model = BigBirdPegasusForConditionalGeneration.from_pretrained("google/bigbird-pegasus-large-bigpatent", block_size=16, num_random_blocks=2)

text = "Replace me by any text you'd like."
inputs = tokenizer(text, return_tensors='pt')
prediction = model.generate(**inputs)
prediction = tokenizer.batch_decode(prediction)

🔧 技術詳細

このチェックポイントは、big_patentデータセットで要約に関してBigBirdPegasusForConditionalGenerationをファインチューニングした後に得られたものです。

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。

📚 参考文献

@misc{zaheer2021big,
      title={Big Bird: Transformers for Longer Sequences}, 
      author={Manzil Zaheer and Guru Guruganesh and Avinava Dubey and Joshua Ainslie and Chris Alberti and Santiago Ontanon and Philip Pham and Anirudh Ravula and Qifan Wang and Li Yang and Amr Ahmed},
      year={2021},
      eprint={2007.14062},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}