Impish Mind 8B GGUF

🚀 Impish_Mind_8B的Llamacpp imatrix量化版本

本項目提供了基於llama.cpp對Impish_Mind_8B模型進行量化處理後的版本。通過特定的量化方法和數據集，生成了多種不同類型的量化文件，以滿足不同用戶在不同硬件條件下的使用需求。

🚀 快速開始

使用 LM Studio 即可運行這些量化模型。

✨ 主要特性

• 使用 llama.cpp 的 b4273 版本進行量化。
• 所有量化文件均使用 imatrix 選項，並採用了來自 此處 的數據集。

📦 安裝指南

使用huggingface-cli下載

首先，確保你已經安裝了 huggingface-cli：

pip install -U "huggingface_hub[cli]"

然後，你可以指定要下載的特定文件：

huggingface-cli download bartowski/Impish_Mind_8B-GGUF --include "Impish_Mind_8B-Q4_K_M.gguf" --local-dir ./

如果模型大小超過50GB，它會被拆分為多個文件。若要將它們全部下載到本地文件夾，請運行：

huggingface-cli download bartowski/Impish_Mind_8B-GGUF --include "Impish_Mind_8B-Q8_0/*" --local-dir ./

你可以指定一個新的本地目錄（如 Impish_Mind_8B-Q8_0），也可以將它們全部下載到當前目錄（./）。

💻 使用示例

基礎用法

提示格式

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

{system_prompt}<|eot_id|><|start_header_id|>user<|end_header_id|>

{prompt}<|eot_id|><|start_header_id|>assistant<|end_header_id|>

📚 詳細文檔

量化文件下載

你可以從以下表格中選擇要下載的文件：

嵌入/輸出權重

部分量化文件（如Q3_K_XL、Q4_K_L等）採用了標準量化方法，將嵌入和輸出權重量化為Q8_0，而非默認值。

Q4_0_X_X信息

新特性：由於 此PR 中對權重進行在線重新打包的努力，如果你為ARM設備編譯了 llama.cpp，現在可以直接使用Q4_0。

同樣，如果你想獲得更好的性能，可以使用IQ4_NL，這得益於 此PR，它也會為ARM重新打包權重，不過目前僅支持4_4。加載時間可能會較慢，但總體速度會提高。

這些量化文件 不適用於 Metal（蘋果）或GPU（英偉達/AMD/英特爾）卸載，僅適用於ARM芯片（以及某些AVX2/AVX512 CPU）。

如果你使用的是ARM芯片，Q4_0_X_X量化文件將顯著提高速度。查看 原始拉取請求 上的Q4_0_4_4速度比較。

要檢查哪種量化文件最適合你的ARM芯片，你可以查看 AArch64 SoC特性（感謝EloyOn！）。

如果你使用的是支持AVX2或AVX512的CPU（通常是服務器CPU和AMD最新的Zen5 CPU），並且不進行GPU卸載，Q4_0_8_8也可能提供不錯的速度：

如何選擇文件

Artefact2 在此 提供了一篇很棒的文章，帶有顯示各種性能的圖表。

首先，你需要確定你能運行多大的模型。為此，你需要了解你有多少RAM和/或VRAM。

如果你希望模型運行得儘可能快，你需要將整個模型放入GPU的VRAM中。選擇文件大小比GPU總VRAM小1 - 2GB的量化文件。

如果你追求絕對最高質量，將系統RAM和GPU的VRAM相加，然後選擇文件大小比該總和小1 - 2GB的量化文件。

接下來，你需要決定是否使用'I-quant'或'K-quant'。

如果你不想考慮太多，選擇K-quant之一。這些文件格式為'QX_K_X'，如Q5_K_M。

如果你想深入瞭解，可以查看這個非常有用的特性圖表：

llama.cpp特性矩陣

但基本上，如果你目標是低於Q4，並且你使用的是cuBLAS（英偉達）或rocBLAS（AMD），你應該考慮I-quant。這些文件格式為IQX_X，如IQ3_M。這些是較新的格式，在相同大小下提供更好的性能。

這些I-quant也可以在CPU和蘋果Metal上使用，但比對應的K-quant慢，因此你需要在速度和性能之間進行權衡。

I-quant 不兼容 Vulcan（也是AMD），所以如果你有AMD顯卡，請仔細檢查你使用的是rocBLAS版本還是Vulcan版本。在撰寫本文時，LM Studio有一個支持ROCm的預覽版，其他推理引擎也有針對ROCm的特定版本。

🔧 技術細節

部分量化文件（如Q3_K_XL、Q4_K_L等）採用了標準量化方法，將嵌入和輸出權重量化為Q8_0，而非默認值。

📄 許可證

本項目採用 apache-2.0 許可證。

致謝

感謝kalomaze和Dampf協助創建imatrix校準數據集。 感謝ZeroWw啟發了對嵌入/輸出的實驗。

如果你想支持我的工作，請訪問我的ko-fi頁面：https://ko-fi.com/bartowski