# 高吞吐量

DeepSeek R1 0528的AWQ量化模型，支持使用vLLM在8塊80GB GPU上以全上下文長度運行。

DeepSeek-R1-Distill-Qwen-32B的量化版本，通過INT8權重量化和激活量化減少內存需求並提高計算效率

DeepSeek R1模型的AWQ量化版本，優化了float16溢出問題，支持高效推理部署

FastApply-1.5B-v1.0 是一個1.5B參數的模型，專為即時代碼應用設計，能夠生成完整的文件編輯，為SoftGen AI提供支持。

首個結合Mamba與Transformer優勢的計算機視覺混合模型，通過重新設計Mamba公式增強視覺特徵建模能力，並在Mamba架構中融入自注意力模塊提升長程空間依賴建模。