AIbase
ZH
模型选型
标签
imatrix优化

# imatrix优化

Mistralai Devstral Small 2507 GGUF
Apache-2.0
这是MistralAI Devstral-Small-2507模型的量化版本，使用llama.cpp工具进行量化处理，提供多种量化类型以满足不同硬件和性能需求。
大型语言模型 支持多种语言
M
bartowski
1,584
7
Delta Vector Austral 70B Winton GGUF
Apache-2.0
这是对Delta-Vector的Austral-70B-Winton模型进行的量化处理版本，通过量化技术减少模型的存储和计算资源需求，同时保持较好性能，适用于资源有限的场景。
大型语言模型 英语
D
bartowski
791
1
Allura Org Remnant Glm4 32b GGUF
Apache-2.0
Remnant-GLM4-32B 是一个基于 GLM4 架构的 32B 参数大语言模型，支持角色扮演和对话式交互，特别适合蝾螈相关的应用场景。
大型语言模型
A
bartowski
2,198
2
Mlabonne Qwen3 14B Abliterated GGUF
这是Qwen3-14B-abliterated模型的量化版本，使用llama.cpp的imatrix选项进行量化，适用于文本生成任务。
大型语言模型
M
bartowski
18.67k
16
Inclusionai Ling Lite 0415 GGUF
MIT
基于inclusionAI/Ling-lite的量化版本，使用llama.cpp进行imatrix量化，支持多种量化类型以适应不同硬件需求。
大型语言模型
I
bartowski
3,112
6
Katanemo Arch Function Chat 3B GGUF
其他
基于katanemo/Arch-Function-Chat-3B模型的量化版本，使用llama.cpp进行量化，支持多种量化类型，适用于文本生成任务。
大型语言模型 英语
K
bartowski
199
1
QVQ 72B Preview GGUF
其他
QVQ-72B-Preview是基于llamacpp的imatrix量化版本的多模态大语言模型，支持图像和文本的多模态理解与生成。
文本生成图像 英语
Q
XelotX
288
0
AIbase
智启未来，您的人工智能解决方案智库
English简体中文繁體中文にほんご
© 2025AIbase