Bigbird Roberta Large

🚀 大飛鳥（BigBird）大型模型

大飛鳥（BigBird）是一種基於稀疏注意力機制的Transformer模型，它將基於Transformer的模型（如BERT）擴展到更長的序列處理。此外，大飛鳥模型還從理論上闡釋了稀疏模型能夠處理完整Transformer的能力。它是一個使用掩碼語言建模（MLM）目標對英語進行預訓練的模型。該模型在這篇論文中被提出，並首次在這個倉庫中發佈。

🚀 快速開始

大飛鳥模型基於塊稀疏注意力機制，而非普通的注意力機制（即BERT的注意力機制）。與BERT相比，它能夠以更低的計算成本處理長度達4096的序列。在涉及超長序列的各種任務中，如長文檔摘要、長上下文問答等，該模型已達到了當前最優水平。

✨ 主要特性

• 採用塊稀疏注意力機制，能處理更長序列。
• 計算成本相較於BERT更低。
• 在長序列相關任務中達到SOTA。

📦 安裝指南

文檔未提及具體安裝步驟，跳過此章節。

💻 使用示例

基礎用法

from transformers import BigBirdModel

# by default its in `block_sparse` mode with num_random_blocks=3, block_size=64
model = BigBirdModel.from_pretrained("google/bigbird-roberta-large")

# you can change `attention_type` to full attention like this:
model = BigBirdModel.from_pretrained("google/bigbird-roberta-large", attention_type="original_full")

# you can change `block_size` & `num_random_blocks` like this:
model = BigBirdModel.from_pretrained("google/bigbird-roberta-large", block_size=16, num_random_blocks=2)

text = "Replace me by any text you'd like."
encoded_input = tokenizer(text, return_tensors='pt')
output = model(**encoded_input)

📚 詳細文檔

訓練數據

該模型在四個公開可用的數據集上進行了預訓練，分別是書籍、CC新聞、故事和維基百科。它使用了與RoBERTa相同的SentencePiece詞彙表（該詞彙表又借鑑自GPT2）。

訓練過程

長度超過4096的文檔被分割成多個文檔，遠小於4096的文檔則被合併。遵循原始BERT的訓練方式，15%的標記被掩碼，模型被訓練來預測這些掩碼標記。模型從RoBERTa的檢查點進行熱啟動。

🔧 技術細節

大飛鳥模型依賴於塊稀疏注意力機制，這種機制使得它在處理長序列時能夠顯著降低計算成本。通過將注意力計算限制在特定的塊和隨機選擇的塊上，模型避免了全注意力機制在長序列上的高計算複雜度。同時，模型在訓練過程中對長文檔的處理策略（分割和合並）也有助於提高訓練效率和模型性能。

📄 許可證

本模型採用Apache-2.0許可證。

📚 引用信息

@misc{zaheer2021big,
      title={Big Bird: Transformers for Longer Sequences}, 
      author={Manzil Zaheer and Guru Guruganesh and Avinava Dubey and Joshua Ainslie and Chris Alberti and Santiago Ontanon and Philip Pham and Anirudh Ravula and Qifan Wang and Li Yang and Amr Ahmed},
      year={2021},
      eprint={2007.14062},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}