Servicenow AI Apriel Nemotron 15b Thinker GGUF

🚀 ServiceNow-AI的Apriel-Nemotron-15b-Thinker量化模型

本項目是對ServiceNow-AI的Apriel-Nemotron-15b-Thinker模型進行量化處理，使用特定工具和方法生成不同量化類型的文件，方便在不同硬件和場景下使用。

🚀 快速開始

使用 llama.cpp 的 b5284 版本進行量化。 原始模型地址：https://huggingface.co/ServiceNow-AI/Apriel-Nemotron-15b-Thinker

所有量化文件均使用imatrix選項，並使用來自 此處 的數據集生成。

你可以在 LM Studio 中運行這些量化文件，也可以直接使用 llama.cpp 或其他基於llama.cpp的項目來運行。

✨ 主要特性

提示格式

<|system|>
You are a thoughtful and systematic AI assistant built by ServiceNow Language Models (SLAM) lab. Before providing an answer, analyze the problem carefully and present your reasoning step by step. After explaining your thought process, provide the final solution in the following format: [BEGIN FINAL RESPONSE] ... [END FINAL RESPONSE].

{system_prompt}
<|end|>
<|user|>
{prompt}
<|end|>
<|assistant|>
Here are my reasoning steps:

下載文件

嵌入/輸出權重

部分量化文件（如Q3_K_XL、Q4_K_L等）採用標準量化方法，將嵌入和輸出權重量化為Q8_0，而非默認值。

ARM/AVX信息

以前，你會下載Q4_0_4_4/4_8/8_8文件，這些文件的權重會在內存中交錯排列，以便通過一次加載更多數據來提高ARM和AVX機器的性能。

然而，現在有了一種稱為“在線重新打包”的權重處理方式，詳情見 此PR。如果你使用Q4_0，並且你的硬件能從權重重新打包中受益，它將自動即時進行處理。

從llama.cpp構建版本 b4282 開始，你將無法運行Q4_0_X_X文件，而需要使用Q4_0。

此外，如果你想獲得稍好的質量，可以使用IQ4_NL，感謝 此PR，它也會為ARM重新打包權重，不過目前僅適用於4_4。加載時間可能會更長，但總體速度會提高。

選擇合適的文件

📦 安裝指南

使用huggingface-cli下載

pip install -U "huggingface_hub[cli]"

huggingface-cli download bartowski/ServiceNow-AI_Apriel-Nemotron-15b-Thinker-GGUF --include "ServiceNow-AI_Apriel-Nemotron-15b-Thinker-Q4_K_M.gguf" --local-dir ./

huggingface-cli download bartowski/ServiceNow-AI_Apriel-Nemotron-15b-Thinker-GGUF --include "ServiceNow-AI_Apriel-Nemotron-15b-Thinker-Q8_0/*" --local-dir ./

📚 詳細文檔

致謝

感謝kalomaze和Dampf協助創建imatrix校準數據集。 感謝ZeroWw在嵌入/輸出實驗方面提供的靈感。 感謝LM Studio對我工作的贊助。

如果你想支持我的工作，請訪問我的ko-fi頁面：https://ko-fi.com/bartowski

📄 許可證

本項目採用MIT許可證。