Servicenow AI Apriel Nemotron 15b Thinker GGUF

🚀 ServiceNow-AI的Apriel-Nemotron-15b-Thinker量化模型

本项目是对ServiceNow-AI的Apriel-Nemotron-15b-Thinker模型进行量化处理，使用特定工具和方法生成不同量化类型的文件，方便在不同硬件和场景下使用。

🚀 快速开始

使用 llama.cpp 的 b5284 版本进行量化。 原始模型地址：https://huggingface.co/ServiceNow-AI/Apriel-Nemotron-15b-Thinker

所有量化文件均使用imatrix选项，并使用来自 此处 的数据集生成。

你可以在 LM Studio 中运行这些量化文件，也可以直接使用 llama.cpp 或其他基于llama.cpp的项目来运行。

✨ 主要特性

提示格式

<|system|>
You are a thoughtful and systematic AI assistant built by ServiceNow Language Models (SLAM) lab. Before providing an answer, analyze the problem carefully and present your reasoning step by step. After explaining your thought process, provide the final solution in the following format: [BEGIN FINAL RESPONSE] ... [END FINAL RESPONSE].

{system_prompt}
<|end|>
<|user|>
{prompt}
<|end|>
<|assistant|>
Here are my reasoning steps:

下载文件

嵌入/输出权重

部分量化文件（如Q3_K_XL、Q4_K_L等）采用标准量化方法，将嵌入和输出权重量化为Q8_0，而非默认值。

ARM/AVX信息

以前，你会下载Q4_0_4_4/4_8/8_8文件，这些文件的权重会在内存中交错排列，以便通过一次加载更多数据来提高ARM和AVX机器的性能。

然而，现在有了一种称为“在线重新打包”的权重处理方式，详情见 此PR。如果你使用Q4_0，并且你的硬件能从权重重新打包中受益，它将自动实时进行处理。

从llama.cpp构建版本 b4282 开始，你将无法运行Q4_0_X_X文件，而需要使用Q4_0。

此外，如果你想获得稍好的质量，可以使用IQ4_NL，感谢 此PR，它也会为ARM重新打包权重，不过目前仅适用于4_4。加载时间可能会更长，但总体速度会提高。

选择合适的文件

📦 安装指南

使用huggingface-cli下载

pip install -U "huggingface_hub[cli]"

huggingface-cli download bartowski/ServiceNow-AI_Apriel-Nemotron-15b-Thinker-GGUF --include "ServiceNow-AI_Apriel-Nemotron-15b-Thinker-Q4_K_M.gguf" --local-dir ./

huggingface-cli download bartowski/ServiceNow-AI_Apriel-Nemotron-15b-Thinker-GGUF --include "ServiceNow-AI_Apriel-Nemotron-15b-Thinker-Q8_0/*" --local-dir ./

📚 详细文档

致谢

感谢kalomaze和Dampf协助创建imatrix校准数据集。 感谢ZeroWw在嵌入/输出实验方面提供的灵感。 感谢LM Studio对我工作的赞助。

如果你想支持我的工作，请访问我的ko-fi页面：https://ko-fi.com/bartowski

📄 许可证

本项目采用MIT许可证。