Gemma 2 2b It Abliterated GGUF

🚀 gemma-2-2b-it-abliterated的Llamacpp imatrix量化版本

本項目使用 llama.cpp 的 b3496 版本進行量化。旨在為gemma-2-2b-it-abliterated模型提供高效的量化方案，以滿足不同場景下的使用需求。

項目信息

原模型鏈接

https://huggingface.co/IlyaGusev/gemma-2-2b-it-abliterated

量化說明

所有量化均使用imatrix選項，並採用來自 此處 的數據集。可在 LM Studio 中運行這些量化模型。

🚀 快速開始

提示詞格式

<bos><start_of_turn>user
{prompt}<end_of_turn>
<start_of_turn>model
<end_of_turn>
<start_of_turn>model

⚠️ 重要提示

該模型不支持系統提示詞。

下載文件

可從下方表格中選擇並下載單個文件（非整個分支）：

嵌入/輸出權重說明

部分量化模型（如Q3_K_XL、Q4_K_L等）採用標準量化方法，將嵌入和輸出權重量化為Q8_0，而非默認值。有人認為這可提高質量，也有人未察覺差異。若你使用了這些模型，請留言分享你的發現，以便了解這些量化模型是否真正有用。

致謝

感謝kalomaze和Dampf協助創建imatrix校準數據集。 感謝ZeroWw啟發了對嵌入/輸出的實驗。

📦 安裝指南

使用huggingface-cli下載

首先，確保已安裝huggingface-cli：

pip install -U "huggingface_hub[cli]"

然後，可指定要下載的特定文件：

huggingface-cli download bartowski/gemma-2-2b-it-abliterated-GGUF --include "gemma-2-2b-it-abliterated-Q4_K_M.gguf" --local-dir ./

若模型文件大於50GB，可能已拆分為多個文件。要將所有文件下載到本地文件夾，可運行：

huggingface-cli download bartowski/gemma-2-2b-it-abliterated-GGUF --include "gemma-2-2b-it-abliterated-Q8_0/*" --local-dir ./

你可以指定新的本地目錄（如gemma-2-2b-it-abliterated-Q8_0），也可將所有文件下載到當前目錄（./）。

📚 詳細文檔

如何選擇文件

Artefact2 提供了一篇很棒的文章，並配有圖表展示各種性能，可參考 此處。 選擇文件時，首先要確定你能運行多大的模型，這需要了解你的系統內存（RAM）和/或顯存（VRAM）大小。

• 若希望模型運行速度儘可能快，應選擇文件大小比GPU顯存小1 - 2GB的量化模型，以便將整個模型加載到GPU的顯存中。
• 若追求極致質量，可將系統內存和GPU顯存相加，然後選擇文件大小比該總和小1 - 2GB的量化模型。

接下來，需要決定使用“I量化”還是“K量化”：

• 若不想過多考慮，可選擇K量化模型，其格式為 'QX_K_X'，如Q5_K_M。
• 若想深入瞭解，可查看 llama.cpp特性矩陣。一般來說，若目標量化級別低於Q4，且使用cuBLAS（Nvidia）或rocBLAS（AMD），可考慮I量化模型，其格式為IQX_X，如IQ3_M。這些I量化模型較新，在相同大小下性能更好。

不過，I量化模型在CPU和Apple Metal上運行速度可能比K量化模型慢，因此需要在速度和性能之間進行權衡。此外，I量化模型與Vulcan（同樣適用於AMD）不兼容，若使用AMD顯卡，請確認使用的是rocBLAS版本還是Vulcan版本。截至編寫本文時，LM Studio有支持ROCm的預覽版，其他推理引擎也有針對ROCm的特定版本。

💡 使用建議

若想支持作者的工作，可訪問其ko-fi頁面：https://ko-fi.com/bartowski。