Allura Org Q3 30B A3B Designant GGUF

quantized_by: bartowski pipeline_tag: テキスト生成 tags:

• mergekit
• axolotl
• unsloth
• ロールプレイ
• 会話型 datasets:
• PygmalionAI/PIPPA
• Alfitaria/nemotron-ultra-reasoning-synthkink
• PocketDoc/Dans-Prosemaxx-Gutenberg
• FreedomIntelligence/Medical-R1-Distill-Data
• cognitivecomputations/SystemChat-2.0
• allenai/tulu-3-sft-personas-instruction-following
• kalomaze/Opus_Instruct_25k
• simplescaling/s1K-claude-3-7-sonnet
• ai2-adapt-dev/flan_v2_converted
• grimulkan/theory-of-mind
• grimulkan/physical-reasoning
• nvidia/HelpSteer3
• nbeerbower/gutenberg2-dpo
• nbeerbower/gutenberg-moderne-dpo
• nbeerbower/Purpura-DPO
• antiven0m/physical-reasoning-dpo
• allenai/tulu-3-IF-augmented-on-policy-70b
• NobodyExistsOnTheInternet/system-message-DPO base_model: allura-org/Q3-30B-A3B-Designant base_model_relation: 量子化

allura-orgのQ3-30B-A3B-DesignantのLlamacpp imatrix量子化

量子化にはllama.cppのリリースb5466を使用しています。

オリジナルモデル: https://huggingface.co/allura-org/Q3-30B-A3B-Designant

すべての量子化はimatrixオプションを使用し、データセットはこちらから取得しています。

LM Studioで実行可能です。

llama.cppまたは他のllama.cppベースのプロジェクトで直接実行できます。

プロンプト形式

<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

以下のファイルをダウンロード（ブランチ全体ではなく）:

埋め込み/出力重み

これらの量子化の一部（Q3_K_XL、Q4_K_Lなど）は、埋め込みと出力重みを通常のデフォルトではなくQ8_0に量子化した標準的な量子化方法です。

huggingface-cliを使用したダウンロード

pip install -U "huggingface_hub[cli]"

huggingface-cli download bartowski/allura-org_Q3-30B-A3B-Designant-GGUF --include "allura-org_Q3-30B-A3B-Designant-Q4_K_M.gguf" --local-dir ./

huggingface-cli download bartowski/allura-org_Q3-30B-A3B-Designant-GGUF --include "allura-org_Q3-30B-A3B-Designant-Q8_0/*" --local-dir ./

ARM/AVX情報

以前は、Q4_0_4_4/4_8/8_8をダウンロードし、これらの重みはメモリ内でインターリーブされ、ARMおよびAVXマシンでのパフォーマンスを向上させるために一度に多くのデータをロードしていました。

しかし、現在は重みの「オンライン再パッキング」と呼ばれる機能があります。詳細はこのPRをご覧ください。Q4_0を使用し、ハードウェアが重みの再パッキングの恩恵を受ける場合、自動的にオンザフライで行われます。

llama.cppビルドb4282以降、Q4_0_X_Xファイルを実行できなくなり、代わりにQ4_0を使用する必要があります。

さらに、少し品質を向上させたい場合は、このPRのおかげでIQ4_NLを使用できます。これもARM用に重みを再パッキングしますが、現時点では4_4のみです。ロード時間は遅くなる可能性がありますが、全体的な速度向上につながります。

どのファイルを選ぶべきか？

クレジット

imatrixキャリブレーションデータセットの作成に協力してくれたkalomazeとDampfに感謝します。

埋め込み/出力の実験にインスピレーションを与えてくれたZeroWwに感謝します。

私の仕事を支援してくれたLM Studioに感謝します。

私の仕事を支援したいですか？私のko-fiページはこちら: https://ko-fi.com/bartowski