AIbase
ZH
模型选型
标签
内存高效推理

# 内存高效推理

Qwen3 30B A6B 16 Extreme GGUF
基于Qwen/Qwen3-30B-A3B-Base生成的超低比特量化模型，支持32k上下文长度，适用于多种硬件环境
大型语言模型 Transformers
Q
Mungert
1,321
1
Phi 2 GGUF
MIT
phi-2 是一个采用 IQ-DynamicGate 超低比特量化（1-2 比特）的文本生成模型，适用于自然语言处理和代码生成任务。
大型语言模型 支持多种语言
P
Mungert
472
2
Granite 3.3 8b Instruct GGUF
Apache-2.0
采用IQ-DynamicGate技术的超低位量化(1-2比特)语言模型，适用于内存受限环境
大型语言模型
G
Mungert
759
2
Qwq 32B GGUF
Apache-2.0
采用IQ-DynamicGate技术的超低位量化（1-2比特）大语言模型，支持多语言文本生成任务
大型语言模型 英语
Q
Mungert
5,770
17
Olympiccoder 32B GGUF
Apache-2.0
OlympicCoder-32B是基于Qwen2.5-Coder-32B-Instruct的代码生成模型，采用IQ-DynamicGate超低位量化技术，适用于内存受限环境下的高效推理。
大型语言模型 英语
O
Mungert
361
3
EXAONE Deep 32B GGUF
其他
EXAONE-Deep-32B是一个32B参数的大语言模型，支持英语和韩语，专为文本生成任务设计。
大型语言模型 支持多种语言
E
Mungert
2,249
3
EXAONE Deep 7.8B GGUF
其他
采用IQ-DynamicGate技术的超低位量化（1-2比特）的7.8B参数模型，支持英语和韩语文本生成任务。
大型语言模型 支持多种语言
E
Mungert
1,791
5
Qwen2.5 14B Instruct 1M GGUF
Apache-2.0
Qwen2.5-14B-Instruct-1M 是一个基于 Qwen2.5-14B 的指令微调模型，支持文本生成任务，适用于聊天场景。
大型语言模型 英语
Q
Mungert
1,600
3
AIbase
智启未来，您的人工智能解决方案智库
English简体中文繁體中文にほんご
© 2025AIbase