# 超低位量化

Josiefied Qwen3 8B Abliterated V1 GGUF
基於Qwen3-8B的量化版本,採用IQ-DynamicGate超低位量化技術,優化內存效率和推理速度
大型語言模型
J
Mungert
559
1
Qwen3 30B A3B GGUF
Apache-2.0
Qwen3-30B-A3B是基於Qwen3-30B-A3B-Base的大語言模型,支持文本生成任務,採用超低位量化技術優化內存效率。
大型語言模型
Q
Mungert
2,135
1
GLM Z1 9B 0414 GGUF
MIT
GLM-Z1-9B-0414 是一個支持中英雙語的文本生成模型,採用 GGUF 格式,適用於多種量化級別,從 BF16 到超低位量化(1-2 比特)。
大型語言模型 支持多種語言
G
Mungert
1,598
3
Qwen2.5 3B Instruct GGUF
其他
採用IQ-DynamicGate技術的超低位量化(1-2位)模型,適用於內存受限設備和高效推理場景
大型語言模型 英語
Q
Mungert
704
4
Llama 3.2 3B Instruct GGUF
Llama-3.2-3B-Instruct GGUF是Meta發佈的3B參數規模的大語言模型,採用IQ-DynamicGate技術進行超低位量化(1-2位),在保持內存效率的同時優化推理性能。
大型語言模型 支持多種語言
L
Mungert
656
3
Granite 3.3 8b Instruct GGUF
Apache-2.0
採用IQ-DynamicGate技術的超低位量化(1-2比特)語言模型,適用於內存受限環境
大型語言模型
G
Mungert
759
2
Deepcoder 14B Preview GGUF
MIT
採用IQ-DynamicGate技術的超低位量化(1-2比特)模型,適用於內存受限設備和邊緣計算場景
大型語言模型 英語
D
Mungert
1,764
6
Qwq 32B GGUF
Apache-2.0
採用IQ-DynamicGate技術的超低位量化(1-2比特)大語言模型,支持多語言文本生成任務
大型語言模型 英語
Q
Mungert
5,770
17
Llama 3.1 70B Instruct GGUF
基於Llama-3.1-70B的超低位量化(1-2位)模型,採用IQ-DynamicGate技術實現精度自適應量化,在保持內存效率的同時提升準確性。
大型語言模型 支持多種語言
L
Mungert
19.52k
3
Olympiccoder 32B GGUF
Apache-2.0
OlympicCoder-32B是基於Qwen2.5-Coder-32B-Instruct的代碼生成模型,採用IQ-DynamicGate超低位量化技術,適用於內存受限環境下的高效推理。
大型語言模型 英語
O
Mungert
361
3
Qwen2.5 VL 3B Instruct GGUF
Qwen2.5-VL-3B-Instruct是一個3B參數規模的多模態模型,支持圖文生成任務,特別優化了在llama.cpp中的視覺功能支持。
文本生成圖像 英語
Q
Mungert
10.44k
8
Gemma 3 27b It GGUF
Gemma 3 27B參數的GGUF量化版本,支持圖像文本交互任務
文本生成圖像
G
Mungert
4,034
6
EXAONE Deep 32B GGUF
其他
EXAONE-Deep-32B是一個32B參數的大語言模型,支持英語和韓語,專為文本生成任務設計。
大型語言模型 支持多種語言
E
Mungert
2,249
3
Llama 3 3 Nemotron Super 49B V1 GGUF
其他
採用IQ-DynamicGate超低位量化技術的49B參數大語言模型,支持1-2位精度自適應量化,優化內存效率與推理速度
大型語言模型 英語
L
Mungert
434
4
EXAONE Deep 7.8B GGUF
其他
採用IQ-DynamicGate技術的超低位量化(1-2比特)的7.8B參數模型,支持英語和韓語文本生成任務。
大型語言模型 支持多種語言
E
Mungert
1,791
5
Qwen2.5 7B Instruct 1M GGUF
Apache-2.0
Qwen2.5-7B-Instruct-1M是基於Qwen2.5-7B的指令微調版本,採用IQ-DynamicGate超低位量化技術(1-2比特),適用於內存受限環境下的高效推理。
大型語言模型 英語
Q
Mungert
1,342
4
Meta Llama 3 8B Instruct GGUF
基於Llama-3-8B-Instruct的IQ-DynamicGate超低位量化(1-2比特)模型,採用精度自適應量化技術,在保持極致內存效率的同時提升推理精度。
大型語言模型 英語
M
Mungert
1,343
3
Llama 3.1 8B Instruct GGUF
Llama-3.1-8B-Instruct 是基於 Llama-3-8B 的指令調優版本,採用 IQ-DynamicGate 技術進行超低位量化(1-2 比特),在保持內存效率的同時提升準確性。
大型語言模型 支持多種語言
L
Mungert
1,073
3
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase