AIbase
TW
模型選型
標籤
量化文本生成

# 量化文本生成

Qwen3 4B GGUF
MIT
一個經過量化的文本生成模型，輸出和嵌入張量採用f16格式，其餘張量採用q5_k或q6_k量化，體積更小且性能與純f16版本持平。
大型語言模型 英語
Q
ZeroWw
495
2
Gemma 3 1b It Fast GUFF
針對低端硬件和純CPU環境優化的量化版本，在資源限制下實現生產可用的推理就緒配置
大型語言模型
G
h4shy
101
1
Qwen3 8B GGUF
MIT
ZeroWw是一個經過量化的文本生成模型，輸出和嵌入張量使用f16格式，其餘張量使用q5_k或q6_k格式，體積更小且性能與純f16相當。
大型語言模型 英語
Q
ZeroWw
236
1
Light R1 14B DS GGUF
Apache-2.0
Light-R1-14B-DS 是一個14B參數規模的量化大語言模型，支持文本生成任務，適用於資源受限環境下的高效推理。
大型語言模型
L
qihoo360
2,784
9
Llama 3.2 3B Instruct Abliterated GGUF
MIT
一個經過優化的量化模型，輸出和嵌入張量使用f16格式，其餘張量使用q5_k或q6_k格式，體積更小且性能與純f16相當。
大型語言模型 英語
L
ZeroWw
20
2
Meta Llama 3.1 8B Instruct Abliterated GGUF
MIT
一個採用混合量化技術的文本生成模型，輸出和嵌入張量使用f16格式，其餘張量採用q5_k或q6_k量化，體積小於標準q8_0量化格式且性能與純f16版本持平。
大型語言模型 英語
M
ZeroWw
98
17
AIbase
智啟未來，您的人工智能解決方案智庫
English简体中文繁體中文にほんご
© 2025AIbase