Huihui Ai Qwen3 14B Abliterated GGUF

🚀 huihui-ai對Qwen3-14B-abliterated的Llamacpp imatrix量化

本項目使用 llama.cpp 版本 b5284 進行量化。

原始模型：https://huggingface.co/huihui-ai/Qwen3-14B-abliterated

所有量化均使用 imatrix 選項，並採用來自 此處 的數據集。

你可以在 LM Studio 中運行這些量化模型，也可以直接使用 llama.cpp 或任何基於 llama.cpp 的項目來運行。

✨ 主要特性

• 多種量化類型：提供了豐富的量化類型，如 Q8_0、Q6_K_L、Q5_K_M 等，以滿足不同的性能和質量需求。
• 靈活的下載方式：支持使用 huggingface-cli 下載特定文件或整個模型。
• 性能優化：部分量化模型針對 ARM 和 AVX 機器進行了優化，提高了推理性能。

📚 詳細文檔

提示格式

由於未指定聊天模板，因此使用默認模板。這可能不準確，請查看原始模型卡片以獲取詳細信息。

<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

下載文件

你可以從以下列表中選擇要下載的文件：

嵌入/輸出權重

部分量化（如 Q3_K_XL、Q4_K_L 等）是標準量化方法，其嵌入和輸出權重被量化為 Q8_0，而不是通常的默認值。

使用 huggingface-cli 下載

pip install -U "huggingface_hub[cli]"

huggingface-cli download bartowski/huihui-ai_Qwen3-14B-abliterated-GGUF --include "huihui-ai_Qwen3-14B-abliterated-Q4_K_M.gguf" --local-dir ./

huggingface-cli download bartowski/huihui-ai_Qwen3-14B-abliterated-GGUF --include "huihui-ai_Qwen3-14B-abliterated-Q8_0/*" --local-dir ./

ARM/AVX 信息

以前，你會下載 Q4_0_4_4/4_8/8_8，這些文件的權重會在內存中交錯排列，以便通過一次加載更多數據來提高 ARM 和 AVX 機器的性能。

然而，現在有一種稱為“在線重新打包”的權重處理方式，詳情見 此 PR。如果你使用 Q4_0 且你的硬件能從重新打包權重中受益，它將自動即時進行處理。

從 llama.cpp 版本 b4282 開始，你將無法運行 Q4_0_X_X 文件，而需要使用 Q4_0。

此外，如果你想獲得略高的質量，可以使用 IQ4_NL，這得益於 此 PR，它也會為 ARM 重新打包權重，不過目前僅支持 4_4。加載時間可能會更長，但總體速度會提高。

如何選擇文件？

⚠️ 重要提示

• 敏感或有爭議輸出的風險：該模型的安全過濾功能已大幅降低，可能會生成敏感、有爭議或不適當的內容。用戶應謹慎操作，並嚴格審查生成的輸出。
• 不適合所有受眾：由於內容過濾有限，該模型的輸出可能不適合公開場合、未成年人或需要高安全性的應用。
• 法律和道德責任：用戶必須確保其使用符合當地法律和道德標準。生成的內容可能帶來法律或道德風險，用戶需對任何後果承擔全部責任。
• 研究和實驗用途：建議將此模型用於研究、測試或受控環境，避免直接用於生產或面向公眾的商業應用。
• 監控和審查建議：強烈建議用戶即時監控模型輸出，並在必要時進行手動審查，以防止傳播不適當的內容。
• 無默認安全保證：與標準模型不同，此模型未經過嚴格的安全優化。huihui.ai 對其使用產生的任何後果不承擔責任。

📄 許可證

本項目採用 Apache-2.0 許可證。

🙏 致謝

感謝 kalomaze 和 Dampf 在創建 imatrix 校準數據集方面提供的幫助。

感謝 ZeroWw 提供的關於嵌入/輸出實驗的靈感。

感謝 LM Studio 對我工作的贊助。

如果你想支持我的工作，請訪問我的 ko-fi 頁面：https://ko-fi.com/bartowski