E

EXAONE Deep 32B GGUF

由Mungert開發
EXAONE-Deep-32B是一個32B參數的大語言模型,支持英語和韓語,專為文本生成任務設計。
下載量 2,249
發布時間 : 3/25/2025

模型概述

該模型基於LGAI-EXAONE/EXAONE-3.5-32B-Instruct微調,採用IQ-DynamicGate超低位量化技術,優化了內存效率和推理速度。

模型特點

IQ-DynamicGate超低位量化
採用精度自適應量化技術,在1-2比特量化下顯著提升模型準確性,同時保持高內存效率。
動態精度分配
前25%和後25%的層使用IQ4_XS,中間50%的層使用IQ2_XXS/IQ3_S,優化了模型性能。
關鍵組件保護
嵌入層和輸出層使用Q5_K量化,減少錯誤傳播,提升模型整體準確性。

模型能力

文本生成
多語言支持(英語、韓語)
超低位量化推理

使用案例

內存受限環境
GPU顯存適配
在顯存有限的GPU上運行大型語言模型。
通過量化技術,模型顯存佔用大幅降低。
CPU和邊緣設備部署
在低功耗設備上運行模型。
超低位量化使得模型可以在資源受限的設備上運行。
研究與應用
超低位量化研究
研究1-2比特量化對模型性能的影響。
DynamicGate量化技術顯著提升了低位量化的模型準確性。
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase