G

GLM 4 32B 0414.w4a16 Gptq

由mratsim開發
這是一個使用GPTQ方法對GLM-4-32B-0414進行4位量化的模型,適用於消費級硬件。
下載量 785
發布時間 : 5/4/2025

模型概述

該模型通過非對稱GPTQ量化技術將GLM-4-32B-0414量化為4位(僅權重4位,W4A16),使其能夠在消費級硬件上運行。

模型特點

4位量化
使用非對稱GPTQ將模型量化為4位,顯著減少顯存佔用。
消費級硬件適配
量化後的模型可以在32GB顯存的GPU上運行。
高質量校準
使用2048個最大序列長度為4096的樣本進行校準,最小化過擬合風險。

模型能力

文本生成
長序列處理

使用案例

文本生成
長文本生成
支持最大130000 tokens的長文本生成。
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase