AIbase
TW
模型選型
標籤
多級量化選擇

# 多級量化選擇

Gryphe Codex 24B Small 3.2 GGUF
Apache-2.0
這是Gryphe的Codex-24B-Small-3.2模型的量化版本，通過量化技術優化了在不同硬件條件下的運行效率。
大型語言模型 英語
G
bartowski
626
3
Thedrummer Cydonia 24B V3 GGUF
其他
這是TheDrummer的Cydonia-24B-v3模型的量化版本，使用llama.cpp進行量化處理，提供了多種量化選項以適應不同硬件和使用場景。
大型語言模型
T
bartowski
1,326
4
Microsoft Phi 4 Reasoning Plus GGUF
MIT
微軟Phi-4-reasoning-plus的量化版本，適用於資源有限設備的高效文本生成任務。
大型語言模型 支持多種語言
M
bartowski
1,516
10
Mlabonne Qwen3 8B Abliterated GGUF
這是Qwen3-8B-abliterated模型的量化版本，使用llama.cpp進行量化，適用於文本生成任務。
大型語言模型
M
bartowski
6,892
5
Qwen Qwen3 14B GGUF
Qwen團隊提供的Qwen3-14B模型的量化版本，使用llama.cpp進行量化，支持多種量化類型，適合在資源受限的設備上運行。
大型語言模型
Q
bartowski
36.61k
18
Qwen Qwen3 8B GGUF
Apache-2.0
Qwen3-8B的量化版本，使用llama.cpp的imatrix選項進行量化，適用於文本生成任務。
大型語言模型
Q
bartowski
23.88k
18
Katanemo Arch Function Chat 3B GGUF
其他
基於katanemo/Arch-Function-Chat-3B模型的量化版本，使用llama.cpp進行量化，支持多種量化類型，適用於文本生成任務。
大型語言模型 英語
K
bartowski
199
1
Gryphe Pantheon RP 1.8 24b Small 3.1 GGUF
Apache-2.0
這是一個基於Gryphe/Pantheon-RP-1.8-24b-Small-3.1模型的量化版本，使用llama.cpp進行量化，適用於角色扮演和文本生成任務。
大型語言模型 英語
G
bartowski
6,477
14
Neuraldaredevil 8B Abliterated GGUF
其他
這是對NeuralDaredevil-8B-abliterated模型進行量化處理的版本，提供了多種量化類型的模型文件，適用於不同硬件條件和需求的用戶。
大型語言模型
N
bartowski
577
11
AIbase
智啟未來，您的人工智能解決方案智庫
English简体中文繁體中文にほんご
© 2025AIbase