Pino Bigbird Roberta Base

🚀 ピノ (オランダ語版BigBird) ベースモデル

このモデルは、Dat Nguyen と Yeb Havinga によって Hugging Faceコミュニティウィーク の期間中に作成されました。

(まだ完成していません)

BigBirdは、スパースアテンションに基づくトランスフォーマーで、BERTなどのトランスフォーマーベースのモデルをはるかに長いシーケンスに拡張します。さらに、BigBirdには、スパースモデルが扱うことができる完全なトランスフォーマーの能力に関する理論的な理解が備わっています。

これは、マスク言語モデリング (MLM) の目的でオランダ語で事前学習されたモデルです。このモデルは、この 論文 で紹介され、最初はこの リポジトリ で公開されました。

✨ 主な機能

BigBirdは、通常のアテンション (つまり、BERTのアテンション) ではなく ブロックスパースアテンション に依存しており、BERTと比較してはるかに低い計算コストで最大4096の長さのシーケンスを処理することができます。長文書の要約や長いコンテキストを伴う質問応答など、非常に長いシーケンスを扱う様々なタスクでSOTAを達成しています。

📦 インストール

このセクションでは明示的なインストール手順が提供されていないため、スキップします。

💻 使用例

基本的な使用法

from transformers import BigBirdModel

# by default its in `block_sparse` mode with num_random_blocks=3, block_size=64
model = BigBirdModel.from_pretrained("flax-community/pino-bigbird-roberta-base")

# you can change `attention_type` to full attention like this:
model = BigBirdModel.from_pretrained("flax-community/pino-bigbird-roberta-base", attention_type="original_full")

# you can change `block_size` & `num_random_blocks` like this:
model = BigBirdModel.from_pretrained("flax-community/pino-bigbird-roberta-base", block_size=16, num_random_blocks=2)

📚 ドキュメント

モデルの説明

BigBirdは、通常のアテンション (つまり、BERTのアテンション) ではなく ブロックスパースアテンション に依存しており、BERTと比較してはるかに低い計算コストで最大4096の長さのシーケンスを処理することができます。長文書の要約や長いコンテキストを伴う質問応答など、非常に長いシーケンスを扱う様々なタスクでSOTAを達成しています。

学習データ

このモデルは、4つの公開データセット、具体的には mC4 と、NRCおよびNu.nlからスクレイピングされた オランダ語ニュース を使用して事前学習されています。RoBERTa (GPT2から借用されたもの) のセンテンスピーストークナイザーと語彙ではなく、高速なユニバーサルバイトレベルBPE (BBPE) を使用しています。

学習手順

データは以下のようにクリーニングされます:

• HTMLコード / JavaScriptコード / loremipsum / ポリシーを含むテキストを削除します。
• 終了記号のない行を削除します。
• 短すぎるテキストや単語を削除します。
• 長すぎるテキストや単語を削除します。
• 不適切な単語を削除します。

🔧 技術詳細

このセクションでは、具体的な技術説明が50文字以上あるため、以下の内容を表示します。

BigBirdは、通常のアテンション (つまり、BERTのアテンション) ではなく ブロックスパースアテンション に依存しており、BERTと比較してはるかに低い計算コストで最大4096の長さのシーケンスを処理することができます。長文書の要約や長いコンテキストを伴う質問応答など、非常に長いシーケンスを扱う様々なタスクでSOTAを達成しています。

📄 引用情報

@misc{zaheer2021big,
      title={Big Bird: Transformers for Longer Sequences}, 
      author={Manzil Zaheer and Guru Guruganesh and Avinava Dubey and Joshua Ainslie and Chris Alberti and Santiago Ontanon and Philip Pham and Anirudh Ravula and Qifan Wang and Li Yang and Amr Ahmed},
      year={2021},
      eprint={2007.14062},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}