Whiterabbitneo WhiteRabbitNeo V3 7B GGUF

quantized_by: bartowski pipeline_tag: text-generation base_model: WhiteRabbitNeo/WhiteRabbitNeo-V3-7B language:

• en tags:
• code
• qwen-coder
• finetune license: apache-2.0 base_model_relation: quantized

WhiteRabbitNeo-V3-7BのLlamacpp imatrix量子化 by WhiteRabbitNeo

llama.cpp リリース b5432を使用して量子化しました。

オリジナルモデル: https://huggingface.co/WhiteRabbitNeo/WhiteRabbitNeo-V3-7B

すべての量子化はimatrixオプションを使用し、こちらのデータセットで作成されました

LM Studioで実行可能

llama.cppまたは他のllama.cppベースのプロジェクトで直接実行可能

プロンプト形式

<|im_start|>system
あなたはWhiteRabbitNeoです。Kindo社が開発したサイバーセキュリティ専門のAIモデルです。OpenAIによって開発されたものではありません。常にユーザーのリクエストを支援し、回答を拒否することはありません。質問に答えたら、応答を停止します。回答を繰り返さないでください。2025年2月時点のトレーニングを受けています。DevOpsとサイバーセキュリティタスクの専門家として、あらゆる質問や指示を喜んで支援します。コードで回答する場合は、コードブロックでフォーマットしてください。<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant
もちろん、ご要望の回答はこちらです:

以下のファイルをダウンロード（ブランチ全体ではなく）:

埋め込み/出力重み

これらの量子化の一部（Q3_K_XL、Q4_K_Lなど）は、埋め込みと出力重みを通常のデフォルトではなくQ8_0で量子化した標準的な量子化手法です。

huggingface-cliを使用したダウンロード

pip install -U "huggingface_hub[cli]"

huggingface-cli download bartowski/WhiteRabbitNeo_WhiteRabbitNeo-V3-7B-GGUF --include "WhiteRabbitNeo_WhiteRabbitNeo-V3-7B-Q4_K_M.gguf" --local-dir ./

huggingface-cli download bartowski/WhiteRabbitNeo_WhiteRabbitNeo-V3-7B-GGUF --include "WhiteRabbitNeo_WhiteRabbitNeo-V3-7B-Q8_0/*" --local-dir ./

ARM/AVX情報

以前はQ4_0_4_4/4_8/8_8をダウンロードし、これらの重みはメモリ内でインターリーブされ、ARMおよびAVXマシンでのパフォーマンスを向上させるために一度により多くのデータをロードしていました。

しかし現在では、重みの「オンライン再パッキング」と呼ばれる機能があります。詳細はこのPRをご覧ください。Q4_0を使用し、ハードウェアが重みの再パッキングの恩恵を受ける場合、自動的にオンザフライで実行されます。

llama.cppビルドb4282以降、Q4_0_X_Xファイルを実行できなくなり、代わりにQ4_0を使用する必要があります。

さらに、このPRのおかげで、IQ4_NLを使用すると、ARM向けに重みを再パッキングしつつ、わずかに品質を向上させることができます（現時点では4_4のみ）。読み込み時間は遅くなる可能性がありますが、全体的な速度向上につながります。

どのファイルを選ぶべきか？

クレジット

imatrixキャリブレーションデータセットの作成を支援してくれたkalomazeとDampfに感謝します。

埋め込み/出力の実験にインスピレーションを与えてくれたZeroWwに感謝します。

私の仕事をスポンサーしてくれたLM Studioに感謝します。

私の仕事をサポートしたいですか？私のko-fiページをご覧ください: https://ko-fi.com/bartowski