Beaverai MN 2407 DSK QwQify V0.1 12B GGUF

🚀 MN-2407-DSK-QwQify-v0.1-12B-LoRA-WS模型量化項目

本項目是對BeaverAI的MN-2407-DSK-QwQify-v0.1-12B模型進行Llamacpp imatrix量化處理。通過特定的量化工具和版本，生成了多種量化類型的模型文件，方便不同硬件條件和使用場景下的部署與應用。

🚀 快速開始

量化工具與版本

使用 llama.cpp 發佈版本 b4896 進行量化。

原始模型

原始模型地址：https://huggingface.co/BeaverAI/MN-2407-DSK-QwQify-v0.1-12B

運行方式

• 可在 LM Studio 中運行量化後的模型。
• 也可直接使用 llama.cpp 或其他基於 llama.cpp 的項目運行。

✨ 主要特性

• 多種量化類型：提供了豐富的量化類型，如 bf16、Q8_0、Q6_K_L 等，滿足不同硬件和性能需求。
• 優化嵌入和輸出權重：部分量化類型（如 Q3_K_XL、Q4_K_L 等）將嵌入和輸出權重量化為 Q8_0，提升模型性能。
• 在線重打包功能：部分量化類型支持在線重打包，可根據硬件自動優化權重加載，提高性能。

📦 安裝指南

安裝 huggingface-cli

pip install -U "huggingface_hub[cli]"

下載指定文件

huggingface-cli download bartowski/BeaverAI_MN-2407-DSK-QwQify-v0.1-12B-GGUF --include "BeaverAI_MN-2407-DSK-QwQify-v0.1-12B-Q4_K_M.gguf" --local-dir ./

下載拆分文件

若模型大於 50GB，已拆分為多個文件，可使用以下命令下載到本地文件夾：

huggingface-cli download bartowski/BeaverAI_MN-2407-DSK-QwQify-v0.1-12B-GGUF --include "BeaverAI_MN-2407-DSK-QwQify-v0.1-12B-Q8_0/*" --local-dir ./

💻 使用示例

提示格式

<s><|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant
<think>

📚 詳細文檔

模型信息

下載文件列表

ARM/AVX 信息

以前，會下載 Q4_0_4_4/4_8/8_8 類型的文件，其權重在內存中交錯排列，以提高 ARM 和 AVX 機器的性能。現在，有了“在線重打包”功能，詳情見 此 PR。若使用 Q4_0 且硬件適合重打包權重，會自動進行。從 llama.cpp 構建版本 b4282 開始，無法運行 Q4_0_X_X 文件，需使用 Q4_0。此外，藉助 此 PR，可使用 IQ4_NL 獲得更好質量，它也會為 ARM 重打包權重，但目前僅支持 4_4。加載時間可能會變慢，但整體速度會提升。

選擇合適的文件

可參考 Artefact2 提供的 詳細分析。首先，需確定能運行的模型大小，這取決於系統的 RAM 和/或 VRAM 容量。若追求最快速度，應選擇文件大小比 GPU 的 VRAM 小 1 - 2GB 的量化類型。若追求最高質量，可將系統 RAM 和 GPU 的 VRAM 相加，選擇比該總和小 1 - 2GB 的量化類型。其次，需決定使用 'I-quant' 還是 'K-quant'。若不想過多考慮，可選擇 K-quants，格式為 'QX_K_X'，如 Q5_K_M。若想深入瞭解，可查看 llama.cpp 特性矩陣。一般來說，若目標量化低於 Q4，且使用 cuBLAS（Nvidia）或 rocBLAS（AMD），可考慮 I-quants，格式為 IQX_X，如 IQ3_M。I-quants 較新，相同大小下性能更好，但在 CPU 上運行比 K-quant 慢，需權衡速度和性能。此外，I-quants 與 Vulcan 不兼容，若使用 AMD 顯卡，需確認使用的是 rocBLAS 版本還是 Vulcan 版本。

🔧 技術細節

使用 llama.cpp 的特定版本（b4896）進行量化，所有量化均使用 imatrix 選項和 此處 的數據集。部分量化類型將嵌入和輸出權重量化為 Q8_0，以提升性能。

📄 許可證

本項目採用 apache-2.0 許可證。

致謝

感謝 kalomaze 和 Dampf 協助創建 imatrix 校準數據集。 感謝 ZeroWw 提供嵌入/輸出實驗的靈感。 感謝 LM Studio 對本項目的支持。

若想支持作者的工作，可訪問：https://ko-fi.com/bartowski