# 高效量化推理

Gryphe Codex 24B Small 3.2 GGUF
Apache-2.0
這是Gryphe的Codex-24B-Small-3.2模型的量化版本,通過量化技術優化了在不同硬件條件下的運行效率。
大型語言模型 英語
G
bartowski
626
3
Blitzar Coder 4B F.1 GGUF
Apache-2.0
Blitzar-Coder-4B-F.1是一個高效的多語言編碼模型,基於Qwen3-4B微調,支持10多種編程語言,具備出色的代碼生成、調試和推理能力。
大型語言模型 Transformers
B
prithivMLmods
267
1
Qwen3 4B GGUF
Apache-2.0
Qwen3是通義千問系列最新一代大語言模型,提供完整的稠密模型與混合專家(MoE)模型組合。基於大規模訓練,Qwen3在推理能力、指令遵循、智能體功能及多語言支持方面實現突破性進展。
大型語言模型 英語
Q
prithivMLmods
829
1
Qwen3 8B NEO Imatrix Max GGUF
Apache-2.0
基於Qwen3-8B模型的NEO Imatrix量化版本,支持32K長上下文和增強推理能力
大型語言模型
Q
DavidAU
178
1
Llava 1.5 13b Hf I1 GGUF
該項目提供了llava-1.5-13b-hf模型的加權/矩陣量化版本,包含多種量化類型選擇,適用於不同場景下的使用需求。
文本生成圖像 Transformers 英語
L
mradermacher
332
1
Mistral Small 3.1 24B Instruct 2503 Q4 K M GGUF
Apache-2.0
這是一個基於mistralai/Mistral-Small-3.1-24B-Instruct-2503轉換的GGUF格式模型,支持多語言文本生成任務。
大型語言模型 支持多種語言
M
PatataAliena
124
1
LGAI EXAONE EXAONE Deep 2.4B GGUF
其他
這是LGAI-EXAONE發佈的EXAONE-Deep-2.4B模型的量化版本,使用llama.cpp進行量化,支持英語和韓語文本生成任務。
大型語言模型 支持多種語言
L
bartowski
304
1
Zed Industries Zeta GGUF
Apache-2.0
這是對zed-industries的zeta模型進行的Llamacpp imatrix量化版本,解決了在不同硬件條件下高效運行模型的問題,提供了多種量化類型供用戶選擇。
大型語言模型
Z
bartowski
561
12
Virtuoso Lite GGUF
其他
Virtuoso-Lite的量化版本,使用llama.cpp進行量化處理,提升在不同硬件上的運行效率。
大型語言模型
V
bartowski
373
4
Qwen2 VL 7B Instruct GGUF
Apache-2.0
基於Qwen2-VL-7B-Instruct的多模態模型量化版本,支持圖像文本到文本任務,適用於多種量化級別。
圖像生成文本 英語
Q
XelotX
201
1
Eurollm 9B Instruct GGUF
Apache-2.0
EuroLLM-9B-Instruct是一個多語言指令跟隨大語言模型,支持40+種語言,特別優化了歐洲語言處理能力。
大型語言模型 支持多種語言
E
bartowski
901
13
T5 3b Q4 K M GGUF
Apache-2.0
該模型是通過ggml.ai的GGUF-my-repo空間,使用llama.cpp從google-t5/t5-3b轉換至GGUF格式的量化版本。
機器翻譯 支持多種語言
T
VVS2024
15
0
Nxcode CQ 7B Orpo IMat GGUF
其他
這是NTQAI/Nxcode-CQ-7B-orpo模型的Llama.cpp imatrix量化版本,提供了多種量化類型的文件,適用於不同場景的需求。
大型語言模型
N
legraphista
411
1
Wizardlm 2 7B Abliterated GGUF
Apache-2.0
這是使用llama.cpp對WizardLM-2-7B進行量化後的版本,基於正交化bfloat16 safetensor權重處理,支持多輪對話。
大型語言模型
W
QuantFactory
139
2
Deepseek V2 Lite Chat IMat GGUF
DeepSeek-V2-Lite-Chat 的 GGUF 量化版本,支持多種量化類型,適用於本地部署和推理。
大型語言模型
D
legraphista
1,413
12
Mixtral 8x7B Instruct V0.1 Offloading Demo
MIT
Mixtral 是一個支持多語言的文本生成模型,採用混合專家(MoE)架構,支持英語、法語、意大利語、德語和西班牙語。
大型語言模型 Transformers 支持多種語言
M
lavawolfiee
391
28
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase