Q

Qwen3 4B GGUF

由ZeroWw開發
一個經過量化的文本生成模型,輸出和嵌入張量採用f16格式,其餘張量採用q5_k或q6_k量化,體積更小且性能與純f16版本持平。
下載量 495
發布時間 : 4/29/2025

模型概述

該模型是一個量化版本的文本生成模型,通過優化張量格式減少模型體積,同時保持與原始版本相當的性能。

模型特點

高效量化
輸出和嵌入張量採用f16格式,其餘張量採用q5_k或q6_k量化,顯著減少模型體積。
性能保持
量化後的模型性能與純f16版本持平,無明顯性能損失。
體積優化
f16.q6與f16.q5的體積均小於標準q8_0量化,更適合資源受限的環境。

模型能力

文本生成

使用案例

文本生成
內容創作
用於生成文章、故事或其他文本內容。
對話系統
用於構建聊天機器人或對話助手。
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase