Thedrummer Valkyrie 49B V1 GGUF

quantized_by: bartowski pipeline_tag: text-generation base_model: TheDrummer/Valkyrie-49B-v1 base_model_relation: quantized

TheDrummerによるValkyrie-49B-v1のLlamacpp imatrix量子化

量子化にはllama.cppのリリースb5415を使用しています。

オリジナルモデル: https://huggingface.co/TheDrummer/Valkyrie-49B-v1

すべての量子化はimatrixオプションを使用し、データセットはこちらから取得しました。

LM Studioで実行可能

llama.cppまたは他のllama.cppベースのプロジェクトで直接実行可能

プロンプト形式

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

{system_prompt}<|eot_id|><|start_header_id|>user<|end_header_id|>

{prompt}<|eot_id|><|start_header_id|>assistant<|end_header_id|>

以下のファイルをダウンロード（ブランチ全体ではなく）:

埋め込み/出力重み

これらの量子化（Q3_K_XL、Q4_K_Lなど）の一部は、埋め込みと出力重みが通常のデフォルトではなくQ8_0に量子化された標準的な量子化手法です。

huggingface-cliを使用したダウンロード

pip install -U "huggingface_hub[cli]"

huggingface-cli download bartowski/TheDrummer_Valkyrie-49B-v1-GGUF --include "TheDrummer_Valkyrie-49B-v1-Q4_K_M.gguf" --local-dir ./

huggingface-cli download bartowski/TheDrummer_Valkyrie-49B-v1-GGUF --include "TheDrummer_Valkyrie-49B-v1-Q8_0/*" --local-dir ./

ARM/AVX情報

以前は、Q4_0_4_4/4_8/8_8をダウンロードし、これらの重みはメモリ内でインターリーブされ、ARMおよびAVXマシンでのパフォーマンスを向上させるために一度により多くのデータをロードしていました。

しかし、現在は重みの「オンライン再パッキング」と呼ばれるものがあります。詳細はこのPRにあります。Q4_0を使用し、ハードウェアが重みの再パッキングの恩恵を受ける場合、自動的にオンザフライで行われます。

llama.cppビルドb4282以降、Q4_0_X_Xファイルを実行できず、代わりにQ4_0を使用する必要があります。

さらに、より良い品質を得たい場合は、このPRのおかげでIQ4_NLを使用できます。これもARM用に重みを再パッキングしますが、現時点では4_4のみです。ロード時間は遅くなる可能性がありますが、全体的な速度向上が得られます。

どのファイルを選ぶべきか？

クレジット

imatrixキャリブレーションデータセットの作成に協力してくれたkalomazeとDampfに感謝します。

embed/outputの実験にインスピレーションを与えてくれたZeroWwに感謝します。

私の仕事を支援してくれたLM Studioに感謝します。

私の仕事を支援したいですか？私のko-fiページはこちら: https://ko-fi.com/bartowski