D

Deepseek R1 Quantized.w4a16

由RedHatAI開發
DeepSeek-R1的INT4權重量化版本,通過減少權重位數降低GPU內存和磁盤空間需求約50%,保持原始模型性能。
下載量 119
發布時間 : 4/17/2025

模型概述

該模型是基於DeepSeek-R1的權重量化版本,將權重從8位減少到4位,顯著降低了資源需求,同時保持了原始模型的性能。適用於需要高效部署的大型語言模型應用場景。

模型特點

INT4權重量化
將權重從8位減少到4位,降低GPU內存和磁盤空間需求約50%
高效部署
支持使用vLLM後端高效部署,適合大規模生產環境
性能保留
在量化後仍保持接近原始模型的性能表現

模型能力

文本生成
語言理解
推理任務處理

使用案例

教育
數學問題解答
解答覆雜數學問題
在MATH-500測試中達到97.08%的準確率
專業測試
AIME測試
處理美國數學邀請賽級別的問題
在AIME 2024測試中達到77.00%的準確率
通用知識問答
MMLU測試
處理多學科多項選擇題
在MMLU測試中達到86.99%的準確率
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase