# 科學論文處理

基於LSG注意力機制的長序列處理模型，專為科學論文摘要生成任務微調

基於BART架構的長序列處理模型，專為科學論文摘要生成任務優化，支持16384長度的長文本輸入

BigBirdPegasus 是一種基於稀疏注意力的 Transformer 模型，能夠處理更長的序列，特別適用於長文檔摘要任務。

BigBird是一種基於稀疏注意力的Transformer模型，能夠處理更長的序列，適用於長文檔摘要等任務。