Bigbird Pegasus Large Arxiv

🚀 BigBirdPegasus模型（大型）

BigBirdPegasus模型是基于稀疏注意力机制的Transformer模型，它将基于Transformer的模型（如BERT）扩展到更长的序列处理中。此外，BigBird还从理论上阐释了稀疏模型所能处理的完整Transformer的能力。该模型在处理长文档摘要、长上下文问答等涉及长序列的任务中表现出色。

🚀 快速开始

模型简介

BigBird采用块稀疏注意力机制，而非普通的注意力机制（如BERT的注意力机制）。与BERT相比，它能够以更低的计算成本处理长度达4096的序列。在各种涉及长序列的任务中，如长文档摘要、长上下文问答等，该模型已达到了当前的最优水平。

使用方法

以下是如何在PyTorch中使用该模型获取给定文本特征的示例：

from transformers import BigBirdPegasusForConditionalGeneration, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("google/bigbird-pegasus-large-arxiv")

# 默认情况下，编码器注意力为 `block_sparse`，num_random_blocks=3，block_size=64
model = BigBirdPegasusForConditionalGeneration.from_pretrained("google/bigbird-pegasus-large-arxiv")

# 解码器注意力类型不能更改，将为 "original_full"
# 你可以像这样将 `attention_type`（仅编码器）更改为全注意力：
model = BigBirdPegasusForConditionalGeneration.from_pretrained("google/bigbird-pegasus-large-arxiv", attention_type="original_full")

# 你可以像这样更改 `block_size` 和 `num_random_blocks`：
model = BigBirdPegasusForConditionalGeneration.from_pretrained("google/bigbird-pegasus-large-arxiv", block_size=16, num_random_blocks=2)

text = "Replace me by any text you'd like."
inputs = tokenizer(text, return_tensors='pt')
prediction = model.generate(**inputs)
prediction = tokenizer.batch_decode(prediction)

训练过程

此检查点是在 scientific_papers 中的 arxiv 数据集上对 BigBirdPegasusForConditionalGeneration 进行摘要生成微调后得到的。

📚 详细文档

模型信息

评估指标

该模型在多个数据集上进行了评估，以下是具体的评估指标：

scientific_papers（pubmed）

cnn_dailymail

xsum

scientific_papers（arxiv）

samsum

🔧 技术细节

BigBird模型的相关研究在论文 Big Bird: Transformers for Longer Sequences 中进行了详细阐述，该模型最初发布于 此仓库。

📄 许可证

本模型采用Apache-2.0许可证。

📖 引用信息

如果你在研究中使用了该模型，请引用以下论文：

@misc{zaheer2021big,
      title={Big Bird: Transformers for Longer Sequences}, 
      author={Manzil Zaheer and Guru Guruganesh and Avinava Dubey and Joshua Ainslie and Chris Alberti and Santiago Ontanon and Philip Pham and Anirudh Ravula and Qifan Wang and Li Yang and Amr Ahmed},
      year={2021},
      eprint={2007.14062},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}

免责声明

发布BigBird的团队并未为此模型撰写模型卡片，此模型卡片由Hugging Face团队编写。