# 稀疏注意力

基於LEGAL-BERT的小型版本，採用局部+稀疏+全局注意力機制(LSG)高效處理長序列

BigBird是一種基於稀疏注意力的Transformer模型，能夠處理長達4096的序列，適用於長文檔任務。

基於稀疏注意力的Transformer模型，專為移動應用描述分類任務微調

基於bigbird-roberta-base的微調模型，專為trivia問答任務優化，支持長序列處理。

BigBirdPegasus 是一種基於稀疏注意力的 Transformer 模型，能夠處理更長的序列，特別適用於長文檔摘要任務。

Pino是基於BigBird架構的荷蘭語預訓練模型，採用稀疏注意力機制處理長序列文本，支持最長4096的序列長度。

BigBird是一種基於稀疏注意力的Transformer模型，能夠處理更長的序列，適用於長文檔摘要等任務。

BigBird是一種基於稀疏注意力的Transformer模型，能夠處理長達4096的序列，適用於長文檔摘要等任務。