Goekdeniz Guelmez Josiefied Qwen3 8B Abliterated V1 GGUF

🚀 Goekdeniz - Guelmez的Josiefied - Qwen3 - 8B - abliterated - v1的Llamacpp imatrix量化版本

本項目是對Goekdeniz - Guelmez的Josiefied - Qwen3 - 8B - abliterated - v1模型進行量化處理。使用量化後的模型可以在資源有限的設備上更高效地運行，同時在一定程度上保持模型的性能。

🚀 快速開始

運行方式

• 可以在 LM Studio 中運行這些量化模型。
• 也可以直接使用 llama.cpp 或任何基於 llama.cpp 的項目來運行。

提示詞格式

<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

✨ 主要特性

• 量化工具：使用 llama.cpp 發佈版本 b5270 進行量化。
• 原始模型：[原始模型鏈接](https://huggingface.co/Goekdeniz - Guelmez/Josiefied - Qwen3 - 8B - abliterated - v1)
• 量化選項：所有量化均使用 imatrix 選項，並使用來自 此處 的數據集。

📦 安裝指南

使用huggingface - cli下載

pip install -U "huggingface_hub[cli]"

huggingface-cli download bartowski/Goekdeniz - Guelmez_Josiefied - Qwen3 - 8B - abliterated - v1 - GGUF --include "Goekdeniz - Guelmez_Josiefied - Qwen3 - 8B - abliterated - v1 - Q4_K_M.gguf" --local - dir ./

huggingface-cli download bartowski/Goekdeniz - Guelmez_Josiefied - Qwen3 - 8B - abliterated - v1 - GGUF --include "Goekdeniz - Guelmez_Josiefied - Qwen3 - 8B - abliterated - v1 - Q8_0/*" --local - dir ./

💻 使用示例

基礎用法

你可以按照上述提示詞格式，在相應的運行環境（如 LM Studio 或 llama.cpp）中輸入提示詞，以獲取模型的輸出。

📚 詳細文檔

下載文件信息

嵌入/輸出權重說明

部分量化模型（如 Q3_K_XL、Q4_K_L 等）採用標準量化方法，將嵌入和輸出權重量化為 Q8_0，而非默認值。

ARM/AVX 信息

以前，你會下載 Q4_0_4_4/4_8/8_8 模型，這些模型的權重在內存中交錯排列，以便在 ARM 和 AVX 機器上通過一次加載更多數據來提高性能。

然而，現在有了一種稱為“在線重新打包”的權重處理方式，詳情見 此 PR。如果你使用 Q4_0 模型，並且你的硬件可以從重新打包權重中受益，它將自動即時進行處理。

從 llama.cpp 構建版本 b4282 開始，你將無法運行 Q4_0_X_X 文件，而需要使用 Q4_0。

此外，如果你想獲得稍好的質量，可以使用 IQ4_NL，這得益於 此 PR，它也會為 ARM 重新打包權重，但目前僅適用於 4_4。加載時間可能會更長，但總體速度會提高。

如何選擇文件

🔧 技術細節

本項目使用 llama.cpp 的特定版本（b5270）進行量化，利用 imatrix 選項和特定的數據集進行校準。部分量化模型對嵌入和輸出權重採用特殊的量化方式（Q8_0），以提高性能。同時，引入了“在線重新打包”的權重處理方式，以適應不同硬件的需求。

📄 許可證

文檔中未提及相關許可證信息。

致謝

感謝 kalomaze 和 Dampf 在創建 imatrix 校準數據集方面提供的幫助。 感謝 ZeroWw 在嵌入/輸出實驗方面提供的靈感。 感謝 LM Studio 對本項目的贊助。

如果你想支持我的工作，請訪問我的 ko - fi 頁面：[https://ko - fi.com/bartowski](https://ko - fi.com/bartowski)