Gryphe_Pantheon-RP-1.8-24b-Small-3.1-GGUFオープンソースモデル - 無料でロールプレイングとテキスト生成を実現

ホーム

Gryphe Pantheon RP 1.8 24b Small 3.1 GGUF

bartowskiによって開発

これはGryphe/Pantheon-RP-1.8-24b-Small-3.1モデルを基にした量子化バージョンで、llama.cppを使用して量子化されており、ロールプレイやテキスト生成タスクに適しています。

大規模言語モデル英語オープンソースライセンス:Apache-2.0 #ロールプレイ最適化 #ChatMLフォーマット #マルチレベル量子化選択

ダウンロード数 6,477

リリース時間 : 3/18/2025

モデル概要

このモデルはPantheon-RP-1.8-24b-Small-3.1の量子化バージョンで、ChatMLフォーマットのプロンプトをサポートし、ロールプレイやテキスト生成タスクに適しています。

モデル特徴

多様な量子化オプション

Q8_0からQ2_K_Lまで様々な量子化オプションを提供し、異なるハードウェアと性能ニーズに対応します。

ロールプレイ最適化

モデルは命令微調整されており、特にロールプレイタスクに適しています。

ChatMLサポート

ChatMLフォーマットのプロンプトをサポートし、対話型インタラクションを容易にします。

モデル能力

テキスト生成

ロールプレイ

対話生成

使用事例

ロールプレイ

ロールプレイ対話

ChatMLフォーマットのプロンプトを使用してロールプレイ対話を行います。

キャラクター設定に合った自然な言語応答を生成します。

テキスト生成

クリエイティブライティング

創造的なテキストコンテンツを生成します。

一貫性があり創造的なテキストを生成します。

量子化担当者: bartowski パイプラインタグ: テキスト生成言語:

英語タグ:
指示付き
微調整
ChatML
axolotl
ロールプレイライセンス: apache-2.0 ベースモデル: Gryphe/Pantheon-RP-1.8-24b-Small-3.1

GrypheによるPantheon-RP-1.8-24b-Small-3.1のLlamacpp imatrix量子化

量子化には、llama.cppのリリース版 b4896 を使用しています。

オリジナルモデル: https://huggingface.co/Gryphe/Pantheon-RP-1.8-24b-Small-3.1

すべての量子化モデルは、こちらのデータセットを使ってimatrixオプションで作成されています。

LM Studio で実行できます。

llama.cpp または他のllama.cppベースのプロジェクトで直接実行することもできます。

プロンプト形式

<|im_start|>system
{システムプロンプト}<|im_end|>
<|im_start|>user
{プロンプト}<|im_end|>
<|im_start|>assistant

以下からファイル（ブランチ全体ではなく）をダウンロードしてください:

ファイル名	量子化タイプ	ファイルサイズ	分割	説明
Pantheon-RP-1.8-24b-Small-3.1-bf16.gguf	bf16	47.15GB	いいえ	完全なBF16ウェイト。
Pantheon-RP-1.8-24b-Small-3.1-Q8_0.gguf	Q8_0	25.05GB	いいえ	非常に高品質で、一般的には必要ないが、利用可能な最高の量子化。
Pantheon-RP-1.8-24b-Small-3.1-Q6_K_L.gguf	Q6_K_L	19.67GB	いいえ	埋め込みと出力ウェイトにQ8_0を使用。非常に高品質で、ほぼ完璧で、推奨。
Pantheon-RP-1.8-24b-Small-3.1-Q6_K.gguf	Q6_K	19.35GB	いいえ	非常に高品質で、ほぼ完璧で、推奨。
Pantheon-RP-1.8-24b-Small-3.1-Q5_K_L.gguf	Q5_K_L	17.18GB	いいえ	埋め込みと出力ウェイトにQ8_0を使用。高品質で、推奨。
Pantheon-RP-1.8-24b-Small-3.1-Q5_K_M.gguf	Q5_K_M	16.76GB	いいえ	高品質で、推奨。
Pantheon-RP-1.8-24b-Small-3.1-Q5_K_S.gguf	Q5_K_S	16.30GB	いいえ	高品質で、推奨。
Pantheon-RP-1.8-24b-Small-3.1-Q4_1.gguf	Q4_1	14.87GB	いいえ	レガシー形式で、Q4_K_Sと同様のパフォーマンスが得られますが、Appleシリコンではトークン/ワットが改善されます。
Pantheon-RP-1.8-24b-Small-3.1-Q4_K_L.gguf	Q4_K_L	14.83GB	いいえ	埋め込みと出力ウェイトにQ8_0を使用。品質が良好で、推奨。
Pantheon-RP-1.8-24b-Small-3.1-Q4_K_M.gguf	Q4_K_M	14.33GB	いいえ	品質が良好で、ほとんどのユースケースでのデフォルトサイズで、推奨。
Pantheon-RP-1.8-24b-Small-3.1-Q4_K_S.gguf	Q4_K_S	13.55GB	いいえ	品質がやや低いが、より多くのスペースを節約でき、推奨。
Pantheon-RP-1.8-24b-Small-3.1-Q4_0.gguf	Q4_0	13.49GB	いいえ	レガシー形式で、ARMとAVX CPU推論用のオンライン再パッキングを提供します。
Pantheon-RP-1.8-24b-Small-3.1-IQ4_NL.gguf	IQ4_NL	13.47GB	いいえ	IQ4_XSに似ていますが、やや大きい。ARM CPU推論用のオンライン再パッキングを提供します。
Pantheon-RP-1.8-24b-Small-3.1-Q3_K_XL.gguf	Q3_K_XL	12.99GB	いいえ	埋め込みと出力ウェイトにQ8_0を使用。品質は低いが使用可能で、低RAM環境に適しています。
Pantheon-RP-1.8-24b-Small-3.1-IQ4_XS.gguf	IQ4_XS	12.76GB	いいえ	品質が適度で、Q4_K_Sよりもサイズが小さく、パフォーマンスは同等で、推奨。
Pantheon-RP-1.8-24b-Small-3.1-Q3_K_L.gguf	Q3_K_L	12.40GB	いいえ	品質は低いが使用可能で、低RAM環境に適しています。
Pantheon-RP-1.8-24b-Small-3.1-Q3_K_M.gguf	Q3_K_M	11.47GB	いいえ	品質が低い。
Pantheon-RP-1.8-24b-Small-3.1-IQ3_M.gguf	IQ3_M	10.65GB	いいえ	中程度～低品質で、Q3_K_Mに匹敵する適度なパフォーマンスを持つ新しい方法。
Pantheon-RP-1.8-24b-Small-3.1-Q3_K_S.gguf	Q3_K_S	10.40GB	いいえ	品質が低く、推奨しません。
Pantheon-RP-1.8-24b-Small-3.1-IQ3_XS.gguf	IQ3_XS	9.91GB	いいえ	品質が低いが、適度なパフォーマンスを持つ新しい方法で、Q3_K_Sよりも少し優れています。
Pantheon-RP-1.8-24b-Small-3.1-Q2_K_L.gguf	Q2_K_L	9.55GB	いいえ	埋め込みと出力ウェイトにQ8_0を使用。非常に低品質ですが、驚くほど使用可能です。
Pantheon-RP-1.8-24b-Small-3.1-IQ3_XXS.gguf	IQ3_XXS	9.28GB	いいえ	品質が低いが、適度なパフォーマンスを持つ新しい方法で、Q3量子化と匹敵します。
Pantheon-RP-1.8-24b-Small-3.1-Q2_K.gguf	Q2_K	8.89GB	いいえ	非常に低品質ですが、驚くほど使用可能です。
Pantheon-RP-1.8-24b-Small-3.1-IQ2_M.gguf	IQ2_M	8.11GB	いいえ	比較的低品質ですが、最先端の技術を用いて驚くほど使用可能です。
Pantheon-RP-1.8-24b-Small-3.1-IQ2_S.gguf	IQ2_S	7.48GB	いいえ	品質が低いが、最先端の技術を用いて使用可能。
Pantheon-RP-1.8-24b-Small-3.1-IQ2_XS.gguf	IQ2_XS	7.21GB	いいえ	品質が低いが、最先端の技術を用いて使用可能。

埋め込み/出力ウェイト

これらの量子化モデルの一部（Q3_K_XL、Q4_K_Lなど）は、標準的な量子化方法で、埋め込みと出力ウェイトが通常のデフォルト値ではなくQ8_0に量子化されています。

huggingface-cliを使ったダウンロード

ダウンロード手順を表示するにはクリック

まず、hugginface-cliがインストールされていることを確認してください:

pip install -U "huggingface_hub[cli]"

次に、ダウンロードしたい特定のファイルを指定できます:

huggingface-cli download bartowski/Gryphe_Pantheon-RP-1.8-24b-Small-3.1-GGUF --include "Gryphe_Pantheon-RP-1.8-24b-Small-3.1-Q4_K_M.gguf" --local-dir ./

モデルが50GBを超える場合、複数のファイルに分割されています。これらをすべてローカルフォルダにダウンロードするには、次のコマンドを実行します:

huggingface-cli download bartowski/Gryphe_Pantheon-RP-1.8-24b-Small-3.1-GGUF --include "Gryphe_Pantheon-RP-1.8-24b-Small-3.1-Q8_0/*" --local-dir ./

新しいローカルディレクトリ (Gryphe_Pantheon-RP-1.8-24b-Small-3.1-Q8_0) を指定するか、そのままダウンロードする (./) ことができます。

ARM/AVX関連情報

以前は、Q4_0_4_4/4_8/8_8をダウンロードし、ARMおよびAVXマシンでのパフォーマンスを向上させるために、ウェイトをメモリ内でインターリーブして一度により多くのデータをロードしていました。

しかし、現在ではウェイトの「オンライン再パッキング」という機能があります。詳細はこのPR を参照してください。Q4_0を使用し、ハードウェアがウェイトの再パッキングから恩恵を受ける場合、自動的に実行されます。

llama.cppのビルド b4282 以降、Q4_0_X_Xファイルを実行することはできず、代わりにQ4_0を使用する必要があります。

さらに、このPR のおかげで、IQ4_NLを使用することで、少し品質を向上させることができます。これはARM用にウェイトを再パッキングしますが、現在は4_4のみです。ロード時間が長くなるかもしれませんが、全体的な速度が向上します。

Q4_0_X_X情報を表示するにはクリック（非推奨）

このセクションは、オンライン再パッキングを使用したQ4_0による潜在的な理論上のパフォーマンス向上を示すために残しています。

AVX2システム（EPYC7702）でのベンチマークを表示するにはクリック

モデル	サイズ	パラメータ	バックエンド	スレッド	テスト	トークン/秒	Q4_0との比較
qwen2 3B Q4_0	1.70 GiB	3.09 B	CPU	64	pp512	204.03 ± 1.03	100%
qwen2 3B Q4_0	1.70 GiB	3.09 B	CPU	64	pp1024	282.92 ± 0.19	100%
qwen2 3B Q4_0	1.70 GiB	3.09 B	CPU	64	pp2048	259.49 ± 0.44	100%
qwen2 3B Q4_0	1.70 GiB	3.09 B	CPU	64	tg128	39.12 ± 0.27	100%
qwen2 3B Q4_0	1.70 GiB	3.09 B	CPU	64	tg256	39.31 ± 0.69	100%
qwen2 3B Q4_0	1.70 GiB	3.09 B	CPU	64	tg512	40.52 ± 0.03	100%
qwen2 3B Q4_K_M	1.79 GiB	3.09 B	CPU	64	pp512	301.02 ± 1.74	147%
qwen2 3B Q4_K_M	1.79 GiB	3.09 B	CPU	64	pp1024	287.23 ± 0.20	101%
qwen2 3B Q4_K_M	1.79 GiB	3.09 B	CPU	64	pp2048	262.77 ± 1.81	101%
qwen2 3B Q4_K_M	1.79 GiB	3.09 B	CPU	64	tg128	18.80 ± 0.99	48%
qwen2 3B Q4_K_M	1.79 GiB	3.09 B	CPU	64	tg256	24.46 ± 3.04	83%
qwen2 3B Q4_K_M	1.79 GiB	3.09 B	CPU	64	tg512	36.32 ± 3.59	90%
qwen2 3B Q4_0_8_8	1.69 GiB	3.09 B	CPU	64	pp512	271.71 ± 3.53	133%
qwen2 3B Q4_0_8_8	1.69 GiB	3.09 B	CPU	64	pp1024	279.86 ± 45.63	100%
qwen2 3B Q4_0_8_8	1.69 GiB	3.09 B	CPU	64	pp2048	320.77 ± 5.00	124%
qwen2 3B Q4_0_8_8	1.69 GiB	3.09 B	CPU	64	tg128	43.51 ± 0.05	111%
qwen2 3B Q4_0_8_8	1.69 GiB	3.09 B	CPU	64	tg256	43.35 ± 0.09	110%
qwen2 3B Q4_0_8_8	1.69 GiB	3.09 B	CPU	64	tg512	42.60 ± 0.31	105%

Q4_0_8_8は、プロンプト処理に大きな改善をもたらし、テキスト生成にも若干の改善をもたらします。

どのファイルを選べばいいですか？

詳細を表示するにはクリック

様々なパフォーマンスを示すチャート付きの素晴らしい解説記事がArtefact2によってこちらに提供されています。

まず、実行できるモデルのサイズを把握する必要があります。これには、持っているRAMおよび/またはVRAMの容量を確認する必要があります。

モデルをできるだけ高速に実行したい場合は、全体をGPUのVRAMに収めることを目指してください。GPUの総VRAMよりも1 - 2GB小さいファイルサイズの量子化モデルを選択しましょう。

最高の品質を望む場合は、システムRAMとGPUのVRAMを合計し、その合計値よりも1 - 2GB小さいファイルサイズの量子化モデルを同様に選択します。

次に、「I - 量子化」または「K - 量子化」を使用するかを決める必要があります。

あまり考えたくない場合は、K - 量子化のいずれかを選択してください。これらは 'QX_K_X' 形式で、Q5_K_Mのようなものです。

もっと詳細を知りたい場合は、この非常に便利な機能チャートをチェックしてください。

llama.cpp機能マトリックス

基本的に、Q4以下を目指しており、cuBLAS（Nvidia）またはrocBLAS（AMD）を使用している場合は、I - 量子化を検討する必要があります。これらはIQX_X形式で、IQ3_Mのようなものです。これらは新しく、サイズに対して優れたパフォーマンスを提供します。

これらのI - 量子化はCPUでも使用できますが、同等のK - 量子化よりも遅くなります。したがって、速度とパフォーマンスのトレードオフを決める必要があります。

I - 量子化はVulcan（同じくAMD）と互換性がないため、AMDカードを持っている場合は、rocBLASビルド还是Vulcanビルドを使用しているかを再確認してください。この記事作成時点で、LM StudioにはROCmサポートのプレビュー版があり、他の推論エンジンにはROCm用の特定のビルドがあります。