Whiterabbitneo WhiteRabbitNeo V3 7B GGUF

🚀 WhiteRabbitNeo-V3-7B的Llamacpp imatrix量化版本

本項目是WhiteRabbitNeo-V3-7B的量化版本，使用特定工具和方法對原模型進行量化處理，以滿足不同場景下的使用需求，如在不同硬件上更高效地運行模型。

🚀 快速開始

使用 llama.cpp 版本 b5432 進行量化。 原模型地址：https://huggingface.co/WhiteRabbitNeo/WhiteRabbitNeo-V3-7B 所有量化模型均使用imatrix選項，並採用來自 此處 的數據集。 你可以在 LM Studio 中運行這些量化模型，也可以直接使用 llama.cpp 或任何基於llama.cpp的項目來運行。

✨ 主要特性

提示格式

<|im_start|>system
You are WhiteRabbitNeo, a cybersecurity-expert AI model developed by the company Kindo. You were not developed by OpenAI. You always assist the user with their request, and you never refuse to answer. Once you have answered the question, stop responding. Do not repeat in your answers. You were trained as of February 2025. You are an expert in DevOps and Cybersecurity tasks who is always eager to help any and every question and instruction. Whenever you answer with code, format them with codeblocks.<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant
Of course, here is the answer you asked for:

下載文件

嵌入/輸出權重

部分量化模型（如Q3_K_XL、Q4_K_L等）採用標準量化方法，將嵌入和輸出權重量化為Q8_0，而非默認值。

下載說明

pip install -U "huggingface_hub[cli]"

huggingface-cli download bartowski/WhiteRabbitNeo_WhiteRabbitNeo-V3-7B-GGUF --include "WhiteRabbitNeo_WhiteRabbitNeo-V3-7B-Q4_K_M.gguf" --local-dir ./

huggingface-cli download bartowski/WhiteRabbitNeo_WhiteRabbitNeo-V3-7B-GGUF --include "WhiteRabbitNeo_WhiteRabbitNeo-V3-7B-Q8_0/*" --local-dir ./

ARM/AVX信息

以前，你會下載Q4_0_4_4/4_8/8_8，這些模型的權重會在內存中交錯排列，以便在ARM和AVX機器上通過一次加載更多數據來提高性能。

然而，現在有了一種稱為“在線重新打包”的權重處理方式，詳情見 此PR。如果你使用Q4_0，並且你的硬件可以從重新打包權重中受益，它將自動實時進行處理。

從llama.cpp構建版本 b4282 開始，你將無法運行Q4_0_X_X文件，而需要使用Q4_0。

此外，如果你想獲得略高的質量，可以使用IQ4_NL，感謝 此PR，它也會為ARM重新打包權重，不過目前僅支持4_4。加載時間可能會更長，但總體速度會提高。

如何選擇文件

📄 許可證

本項目採用Apache 2.0許可證。

致謝

感謝kalomaze和Dampf在創建imatrix校準數據集方面提供的幫助。 感謝ZeroWw在嵌入/輸出實驗方面提供的靈感。 感謝LM Studio對我工作的贊助。

如果你想支持我的工作，請訪問我的ko-fi頁面：https://ko-fi.com/bartowski