AIbase
ZH
模型选型
标签
多级量化选择

# 多级量化选择

Gryphe Codex 24B Small 3.2 GGUF
Apache-2.0
这是Gryphe的Codex-24B-Small-3.2模型的量化版本，通过量化技术优化了在不同硬件条件下的运行效率。
大型语言模型 英语
G
bartowski
626
3
Thedrummer Cydonia 24B V3 GGUF
其他
这是TheDrummer的Cydonia-24B-v3模型的量化版本，使用llama.cpp进行量化处理，提供了多种量化选项以适应不同硬件和使用场景。
大型语言模型
T
bartowski
1,326
4
Microsoft Phi 4 Reasoning Plus GGUF
MIT
微软Phi-4-reasoning-plus的量化版本，适用于资源有限设备的高效文本生成任务。
大型语言模型 支持多种语言
M
bartowski
1,516
10
Mlabonne Qwen3 8B Abliterated GGUF
这是Qwen3-8B-abliterated模型的量化版本，使用llama.cpp进行量化，适用于文本生成任务。
大型语言模型
M
bartowski
6,892
5
Qwen Qwen3 14B GGUF
Qwen团队提供的Qwen3-14B模型的量化版本，使用llama.cpp进行量化，支持多种量化类型，适合在资源受限的设备上运行。
大型语言模型
Q
bartowski
36.61k
18
Qwen Qwen3 8B GGUF
Apache-2.0
Qwen3-8B的量化版本，使用llama.cpp的imatrix选项进行量化，适用于文本生成任务。
大型语言模型
Q
bartowski
23.88k
18
Katanemo Arch Function Chat 3B GGUF
其他
基于katanemo/Arch-Function-Chat-3B模型的量化版本，使用llama.cpp进行量化，支持多种量化类型，适用于文本生成任务。
大型语言模型 英语
K
bartowski
199
1
Gryphe Pantheon RP 1.8 24b Small 3.1 GGUF
Apache-2.0
这是一个基于Gryphe/Pantheon-RP-1.8-24b-Small-3.1模型的量化版本，使用llama.cpp进行量化，适用于角色扮演和文本生成任务。
大型语言模型 英语
G
bartowski
6,477
14
Neuraldaredevil 8B Abliterated GGUF
其他
这是对NeuralDaredevil-8B-abliterated模型进行量化处理的版本，提供了多种量化类型的模型文件，适用于不同硬件条件和需求的用户。
大型语言模型
N
bartowski
577
11
AIbase
智启未来，您的人工智能解决方案智库
English简体中文繁體中文にほんご
© 2025AIbase