AIbase
TW
模型選型
標籤
內存高效推理

# 內存高效推理

Qwen3 30B A6B 16 Extreme GGUF
基於Qwen/Qwen3-30B-A3B-Base生成的超低比特量化模型，支持32k上下文長度，適用於多種硬件環境
大型語言模型 Transformers
Q
Mungert
1,321
1
Phi 2 GGUF
MIT
phi-2 是一個採用 IQ-DynamicGate 超低比特量化（1-2 比特）的文本生成模型，適用於自然語言處理和代碼生成任務。
大型語言模型 支持多種語言
P
Mungert
472
2
Granite 3.3 8b Instruct GGUF
Apache-2.0
採用IQ-DynamicGate技術的超低位量化(1-2比特)語言模型，適用於內存受限環境
大型語言模型
G
Mungert
759
2
Qwq 32B GGUF
Apache-2.0
採用IQ-DynamicGate技術的超低位量化（1-2比特）大語言模型，支持多語言文本生成任務
大型語言模型 英語
Q
Mungert
5,770
17
Olympiccoder 32B GGUF
Apache-2.0
OlympicCoder-32B是基於Qwen2.5-Coder-32B-Instruct的代碼生成模型，採用IQ-DynamicGate超低位量化技術，適用於內存受限環境下的高效推理。
大型語言模型 英語
O
Mungert
361
3
EXAONE Deep 32B GGUF
其他
EXAONE-Deep-32B是一個32B參數的大語言模型，支持英語和韓語，專為文本生成任務設計。
大型語言模型 支持多種語言
E
Mungert
2,249
3
EXAONE Deep 7.8B GGUF
其他
採用IQ-DynamicGate技術的超低位量化（1-2比特）的7.8B參數模型，支持英語和韓語文本生成任務。
大型語言模型 支持多種語言
E
Mungert
1,791
5
Qwen2.5 14B Instruct 1M GGUF
Apache-2.0
Qwen2.5-14B-Instruct-1M 是一個基於 Qwen2.5-14B 的指令微調模型，支持文本生成任務，適用於聊天場景。
大型語言模型 英語
Q
Mungert
1,600
3
AIbase
智啟未來，您的人工智能解決方案智庫
English简体中文繁體中文にほんご
© 2025AIbase