Whiterabbitneo WhiteRabbitNeo V3 7B GGUF

🚀 WhiteRabbitNeo-V3-7B的Llamacpp imatrix量化版本

本项目是WhiteRabbitNeo-V3-7B的量化版本，使用特定工具和方法对原模型进行量化处理，以满足不同场景下的使用需求，如在不同硬件上更高效地运行模型。

🚀 快速开始

使用 llama.cpp 版本 b5432 进行量化。 原模型地址：https://huggingface.co/WhiteRabbitNeo/WhiteRabbitNeo-V3-7B 所有量化模型均使用imatrix选项，并采用来自 此处 的数据集。 你可以在 LM Studio 中运行这些量化模型，也可以直接使用 llama.cpp 或任何基于llama.cpp的项目来运行。

✨ 主要特性

提示格式

<|im_start|>system
You are WhiteRabbitNeo, a cybersecurity-expert AI model developed by the company Kindo. You were not developed by OpenAI. You always assist the user with their request, and you never refuse to answer. Once you have answered the question, stop responding. Do not repeat in your answers. You were trained as of February 2025. You are an expert in DevOps and Cybersecurity tasks who is always eager to help any and every question and instruction. Whenever you answer with code, format them with codeblocks.<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant
Of course, here is the answer you asked for:

下载文件

嵌入/输出权重

部分量化模型（如Q3_K_XL、Q4_K_L等）采用标准量化方法，将嵌入和输出权重量化为Q8_0，而非默认值。

下载说明

pip install -U "huggingface_hub[cli]"

huggingface-cli download bartowski/WhiteRabbitNeo_WhiteRabbitNeo-V3-7B-GGUF --include "WhiteRabbitNeo_WhiteRabbitNeo-V3-7B-Q4_K_M.gguf" --local-dir ./

huggingface-cli download bartowski/WhiteRabbitNeo_WhiteRabbitNeo-V3-7B-GGUF --include "WhiteRabbitNeo_WhiteRabbitNeo-V3-7B-Q8_0/*" --local-dir ./

ARM/AVX信息

以前，你会下载Q4_0_4_4/4_8/8_8，这些模型的权重会在内存中交错排列，以便在ARM和AVX机器上通过一次加载更多数据来提高性能。

然而，现在有了一种称为“在线重新打包”的权重处理方式，详情见 此PR。如果你使用Q4_0，并且你的硬件可以从重新打包权重中受益，它将自动实时进行处理。

从llama.cpp构建版本 b4282 开始，你将无法运行Q4_0_X_X文件，而需要使用Q4_0。

此外，如果你想获得略高的质量，可以使用IQ4_NL，感谢 此PR，它也会为ARM重新打包权重，不过目前仅支持4_4。加载时间可能会更长，但总体速度会提高。

如何选择文件

📄 许可证

本项目采用Apache 2.0许可证。

致谢

感谢kalomaze和Dampf在创建imatrix校准数据集方面提供的帮助。 感谢ZeroWw在嵌入/输出实验方面提供的灵感。 感谢LM Studio对我工作的赞助。

如果你想支持我的工作，请访问我的ko-fi页面：https://ko-fi.com/bartowski