Pino Bigbird Roberta Base

🚀 Pino（荷蘭語BigBird）基礎模型

Pino（荷蘭語BigBird）基礎模型由Dat Nguyen和Yeb Havinga在Hugging Face社區周期間創建。（該模型尚未完成）

BigBird是一種基於稀疏注意力機制的Transformer模型，它將基於Transformer的模型（如BERT）擴展到更長的序列處理中。此外，BigBird還對稀疏模型所能處理的完整Transformer能力有理論上的理解。該模型是使用掩碼語言建模（MLM）目標在荷蘭語上進行預訓練的模型。它在這篇論文中被提出，並首次在這個倉庫中發佈。

🚀 快速開始

模型描述

BigBird依賴於塊稀疏注意力機制，而非普通的注意力機制（即BERT的注意力機制），與BERT相比，它能夠以更低的計算成本處理長度達4096的序列。在涉及超長序列的各種任務中，如長文檔摘要、長上下文問答等，它都達到了當前最優性能（SOTA）。

如何使用

以下是如何在PyTorch中使用該模型來獲取給定文本特徵的示例：

from transformers import BigBirdModel

# 默認情況下，它處於 `block_sparse` 模式，num_random_blocks=3，block_size=64
model = BigBirdModel.from_pretrained("flax-community/pino-bigbird-roberta-base")

# 你可以將 `attention_type` 更改為全注意力機制，如下所示：
model = BigBirdModel.from_pretrained("flax-community/pino-bigbird-roberta-base", attention_type="original_full")

# 你可以像這樣更改 `block_size` 和 `num_random_blocks`：
model = BigBirdModel.from_pretrained("flax-community/pino-bigbird-roberta-base", block_size=16, num_random_blocks=2)

訓練數據

該模型在四個公開可用的數據集上進行了預訓練：mC4和從NRC和Nu.nl抓取的荷蘭語新聞。與RoBERTa（其又借鑑自GPT2）使用的句子片段分詞器和詞彙表不同，它使用了快速通用的字節級BPE（BBPE）。

訓練過程

數據按以下方式進行清理：

• 移除包含HTML代碼、JavaScript代碼、無意義文本或政策內容的文本。
• 移除沒有結束標記的行。
• 移除過短的文本和單詞。
• 移除過長的文本和單詞。
• 移除不良詞彙。

BibTeX引用和引用信息

@misc{zaheer2021big,
      title={Big Bird: Transformers for Longer Sequences}, 
      author={Manzil Zaheer and Guru Guruganesh and Avinava Dubey and Joshua Ainslie and Chris Alberti and Santiago Ontanon and Philip Pham and Anirudh Ravula and Qifan Wang and Li Yang and Amr Ahmed},
      year={2021},
      eprint={2007.14062},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}