O

Olympiccoder 32B GGUF

由Mungert開發
OlympicCoder-32B是基於Qwen2.5-Coder-32B-Instruct的代碼生成模型,採用IQ-DynamicGate超低位量化技術,適用於內存受限環境下的高效推理。
下載量 361
發布時間 : 3/31/2025

模型概述

該模型專注於代碼生成任務,採用創新的1-2比特量化方法,在保持高精度的同時顯著減少內存佔用,適合部署在CPU和邊緣設備上。

模型特點

IQ-DynamicGate超低位量化
採用1-2比特精度自適應量化技術,在Llama-3-8B上驗證可降低困惑度達43.9%
分層量化策略
前25%和後25%層使用IQ4_XS,中間50%層使用IQ2_XXS/IQ3_S,關鍵組件保持Q5_K精度
內存高效
量化版本內存佔用最低僅2.1GB,適合邊緣設備和低顯存GPU部署
多格式支持
提供BF16、F16及多種量化格式(Q4_K至Q8_0),適應不同硬件需求

模型能力

代碼生成
低資源環境推理
多精度量化推理

使用案例

開發工具
代碼補全
在內存受限的IDE插件中提供智能代碼補全功能
在CPU設備上實現低延遲響應
邊緣計算
設備端代碼生成
在樹莓派等邊緣設備上運行代碼生成服務
內存佔用降低60%以上
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase