Katanemo Arch Function Chat 3B GGUF

quantized_by: bartowski pipeline_tag: text-generation base_model_relation: quantized license_name: katanemo-research base_model: katanemo/Arch-Function-Chat-3B language:

• en license: other license_link: https://huggingface.co/katanemo/Arch-Function-Chat-3B/blob/main/LICENSE

katanemoのArch-Function-Chat-3Bに対するLlamacpp imatrix量子化

量子化にはllama.cppのリリースb5010を使用しています。

オリジナルモデル: https://huggingface.co/katanemo/Arch-Function-Chat-3B

すべての量子化はimatrixオプションを使用し、データセットはこちらから取得しました。

LM Studioで実行可能

llama.cppまたは他のllama.cppベースのプロジェクトで直接実行可能

プロンプト形式

<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

以下のファイルをダウンロード（ブランチ全体ではなく）:

埋め込み/出力重み

これらの量子化の一部（Q3_K_XL、Q4_K_Lなど）は、埋め込みと出力重みを通常のデフォルトではなくQ8_0で量子化した標準的な量子化手法です。

huggingface-cliを使用したダウンロード

pip install -U "huggingface_hub[cli]"

huggingface-cli download bartowski/katanemo_Arch-Function-Chat-3B-GGUF --include "katanemo_Arch-Function-Chat-3B-Q4_K_M.gguf" --local-dir ./

huggingface-cli download bartowski/katanemo_Arch-Function-Chat-3B-GGUF --include "katanemo_Arch-Function-Chat-3B-Q8_0/*" --local-dir ./

ARM/AVX情報

以前は、Q4_0_4_4/4_8/8_8をダウンロードし、これらの重みはメモリ内でインターリーブされ、ARMおよびAVXマシンでのパフォーマンスを向上させるために一度により多くのデータをロードしていました。

しかし、現在は重みの「オンライン再パッキング」と呼ばれる機能があります。詳細はこのPRをご覧ください。Q4_0を使用し、ハードウェアが重みの再パッキングの恩恵を受ける場合、自動的にオンザフライで実行されます。

llama.cppビルドb4282以降、Q4_0_X_Xファイルを実行できなくなり、代わりにQ4_0を使用する必要があります。

さらに、このPRにより、IQ4_NLを使用してARM用に重みを再パッキングすることで、わずかに品質を向上させることができます（現時点では4_4のみ）。ロード時間は遅くなる可能性がありますが、全体的な速度向上が得られます。

どのファイルを選ぶべきか？

Artefact2によるさまざまなパフォーマンスを示すチャート付きの優れた説明がこちらにあります。

まず、実行可能なモデルのサイズを把握する必要があります。これには、RAMおよび/またはVRAMの量を把握する必要があります。

モデルを可能な限り高速に実行したい場合は、モデル全体をGPUのVRAMに収める必要があります。GPUの総VRAMより1-2GB小さい量子化を選択してください。

絶対的な最高品質を求めたい場合は、システムRAMとGPUのVRAMを合計し、同様に合計より1-2GB小さい量子化を選択してください。

次に、「I-quant」または「K-quant」のどちらを使用するかを決定する必要があります。

あまり考えたくない場合は、K-quantのいずれかを選択してください。これらは「QX_K_X」形式で、Q5_K_Mなどです。

さらに詳しく知りたい場合は、この非常に便利な機能チャートを確認してください:

llama.cpp機能マトリックス

基本的に、Q4以下を目指しており、cuBLAS（Nvidia）またはrocBLAS（AMD）を実行している場合は、I-quantを検討してください。これらは「IQX_X」形式で、IQ3_Mなどです。これらは新しく、サイズに対してより優れたパフォーマンスを提供します。

これらのI-quantはCPUでも使用できますが、K-quant相当よりも遅くなるため、速度とパフォーマンスのトレードオフを決定する必要があります。

クレジット

imatrixキャリブレーションデータセットの作成に協力してくれたkalomazeとDampfに感謝します。

埋め込み/出力の実験にインスピレーションを与えてくれたZeroWwに感謝します。

私の仕事を支援してくれたLM Studioに感謝します。

私の仕事を支援したいですか？私のko-fiページはこちら: https://ko-fi.com/bartowski