Seerattention Decode Qwen3 4B AttnGates

🚀 SeerAttention-R

本倉庫包含論文 SeerAttention-R 中解碼階段的 AttnGate 權重。當前支持的模型如下：

• SeerAttention/SeerAttention-Decode-Qwen3-4B-AttnGates ‚Üê 你正在此頁面！
• SeerAttention/SeerAttention-Decode-Qwen3-8B-AttnGates
• SeerAttention/SeerAttention-Decode-Qwen3-14B-AttnGates
• SeerAttention/SeerAttention-Decode-R1-Distill-Qwen-14B-AttnGates

✨ 主要特性

本項目提供了 SeerAttention-R 論文中解碼階段的 AttnGate 權重，支持多種基於 Qwen3 系列的模型，可用於相關的推理任務。

📚 詳細文檔

推理任務結果

不同 token 預算下的推理任務結果。所有結果均為平均 pass@1 結果，其中 AIME 每個查詢 64 個樣本，GPQA 16 個樣本，MATH - 500 8 個樣本。

AIME24

AIME25

MATH500

GPQA Diamond

📄 許可證

本項目採用 MIT 許可證。