Servicenow AI Apriel Nemotron 15b Thinker GGUF

quantized_by: bartowski pipeline_tag: text-generation license: mit base_model_relation: quantized base_model: ServiceNow-AI/Apriel-Nemotron-15b-Thinker

ServiceNow-AI/Apriel-Nemotron-15b-ThinkerのLlamacpp imatrix量子化

llama.cppリリースb5284を使用して量子化しました。

オリジナルモデル: https://huggingface.co/ServiceNow-AI/Apriel-Nemotron-15b-Thinker

すべての量子化はこちらのデータセットを使用してimatrixオプションで作成されました。

LM Studioで実行可能

llama.cppまたは他のllama.cppベースのプロジェクトで直接実行可能

プロンプト形式

<|system|>
あなたはServiceNow Language Models (SLAM) labによって構築された思慮深く体系的なAIアシスタントです。回答を提供する前に、問題を注意深く分析し、段階的に推論を提示してください。思考プロセスを説明した後、次の形式で最終的な解決策を提供します: [BEGIN FINAL RESPONSE] ... [END FINAL RESPONSE].

{system_prompt}
<|end|>
<|user|>
{prompt}
<|end|>
<|assistant|>
私の推論ステップは以下の通りです:

以下のファイルをダウンロード（ブランチ全体ではなく）:

埋め込み/出力ウェイト

これらの量子化の一部（Q3_K_XL、Q4_K_Lなど）は、埋め込みと出力ウェイトを通常のデフォルトではなくQ8_0に量子化した標準的な量子化方法です。

huggingface-cliを使用したダウンロード

pip install -U "huggingface_hub[cli]"

huggingface-cli download bartowski/ServiceNow-AI_Apriel-Nemotron-15b-Thinker-GGUF --include "ServiceNow-AI_Apriel-Nemotron-15b-Thinker-Q4_K_M.gguf" --local-dir ./

huggingface-cli download bartowski/ServiceNow-AI_Apriel-Nemotron-15b-Thinker-GGUF --include "ServiceNow-AI_Apriel-Nemotron-15b-Thinker-Q8_0/*" --local-dir ./

ARM/AVX情報

以前は、Q4_0_4_4/4_8/8_8をダウンロードし、これらのウェイトはメモリ内でインターリーブされ、ARMおよびAVXマシンでのパフォーマンスを向上させるために一度により多くのデータをロードしていました。

しかし現在では、ウェイトの「オンライン再パッキング」と呼ばれる機能があります。詳細はこのPRを参照してください。Q4_0を使用し、ハードウェアがウェイトの再パッキングの恩恵を受ける場合、自動的にオンザフライで実行されます。

llama.cppビルドb4282以降、Q4_0_X_Xファイルを実行できなくなり、代わりにQ4_0を使用する必要があります。

さらに、より良い品質を得たい場合は、このPRのおかげでIQ4_NLを使用できます。これもARM用にウェイトを再パッキングしますが、現時点では4_4のみです。ロード時間は遅くなる可能性がありますが、全体的な速度向上につながります。

どのファイルを選ぶべきか？

クレジット

imatrixキャリブレーションデータセットの作成に協力してくれたkalomazeとDampfに感謝します。

埋め込み/出力の実験にインスピレーションを与えてくれたZeroWwに感謝します。

私の仕事を支援してくれたLM Studioに感謝します。

私の仕事を支援したいですか？私のko-fiページをご覧ください: https://ko-fi.com/bartowski