# 高效注意力機制

提供 SeerAttention-R 論文中解碼階段的 AttnGate 權重，支持 Qwen3-4B 模型的推理任務

基於ModernBERT-base-nli微調的問答模型，支持長上下文處理

Tweety-7b-dutch是一個專注於荷蘭語的基礎大語言模型，基於mistral架構，使用荷蘭語分詞器優化荷蘭語文本處理能力。

Mistral-7B-Instruct-v0.2是基於Mistral-7B-Instruct-v0.1改進的指令微調大語言模型，採用Wanda剪枝方法壓縮至2%稀疏度，無需重新訓練即可保持競爭力性能。

Mistral-7B-Instruct-v0.2是基於Mistral-7B-Instruct-v0.1增強的指令微調大語言模型，採用Wanda剪枝方法實現30%稀疏化，無需重新訓練即可保持競爭力性能。

基於WikiText-103 v1數據集訓練的長序列Nyströmformer模型，支持4096長度的序列處理

基於WikiText-103數據集訓練的Nystromformer模型，支持長序列處理（2048 tokens）

LongT5是基於T5架構的文本到文本轉換模型，採用瞬態全局注意力機制高效處理長序列輸入

這是一個經過剪枝優化的BART-base模型，專門針對CNN/DailyMail數據集進行微調，用於摘要生成任務。

該模型為蒸餾版數據高效圖像Transformer（DeiT），在ImageNet-1k上以224x224分辨率進行預訓練和微調，通過蒸餾從教師模型高效學習。

基於BigBird架構的中文預訓練模型，支持4096長度的上下文處理

這是一個基於BigBird架構的中文預訓練模型，針對中文文本處理進行了優化，支持長文本序列處理。