Bigbird Roberta Large

🚀 BigBird largeモデル

BigBirdは、スパースアテンションに基づくTransformerモデルで、BERTなどのTransformerベースのモデルをより長いシーケンスに拡張します。さらに、BigBirdは、スパースモデルが扱える完全なTransformerの能力についての理論的理解を備えています。

これは、マスク言語モデリング（MLM）を目的として英語で事前学習されたモデルです。このモデルは、この論文で紹介され、このリポジトリで最初に公開されました。

免責事項: BigBirdを公開したチームはこのモデルのモデルカードを作成していないため、このモデルカードはHugging Faceチームによって作成されました。

🚀 クイックスタート

BigBirdは、通常のアテンション（つまり、BERTのアテンション）ではなくブロックスパースアテンションに依存しており、BERTと比較してはるかに低い計算コストで最大4096の長さのシーケンスを処理することができます。長文書要約や長いコンテキストを持つ質問応答など、非常に長いシーケンスを扱う様々なタスクでSOTAを達成しています。

💻 使用例

基本的な使用法

from transformers import BigBirdModel

# by default its in `block_sparse` mode with num_random_blocks=3, block_size=64
model = BigBirdModel.from_pretrained("google/bigbird-roberta-large")

# you can change `attention_type` to full attention like this:
model = BigBirdModel.from_pretrained("google/bigbird-roberta-large", attention_type="original_full")

# you can change `block_size` & `num_random_blocks` like this:
model = BigBirdModel.from_pretrained("google/bigbird-roberta-large", block_size=16, num_random_blocks=2)

text = "Replace me by any text you'd like."
encoded_input = tokenizer(text, return_tensors='pt')
output = model(**encoded_input)

📚 ドキュメント

学習データ

このモデルは、4つの公開データセットであるBooks、CC-News、Stories、およびWikipediaで事前学習されています。RoBERTaと同じsentencepiece語彙（GPT2から借用）を使用しています。

学習手順

4096より長いドキュメントは複数のドキュメントに分割され、4096よりはるかに小さいドキュメントは結合されました。元のBERTの学習に従い、15％のトークンがマスクされ、モデルはマスクを予測するように学習されました。

モデルはRoBERTaのチェックポイントからウォームスタートされます。

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。

🔧 技術詳細

BibTeXエントリと引用情報

@misc{zaheer2021big,
      title={Big Bird: Transformers for Longer Sequences}, 
      author={Manzil Zaheer and Guru Guruganesh and Avinava Dubey and Joshua Ainslie and Chris Alberti and Santiago Ontanon and Philip Pham and Anirudh Ravula and Qifan Wang and Li Yang and Amr Ahmed},
      year={2021},
      eprint={2007.14062},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}