PocketDoc_Dans-SakuraKazeオープンソーステキスト生成モデル - 無料で複数の量子化タイプに対応したデプロイが可能

ホーム

Pocketdoc Dans SakuraKaze V1.0.0 12b GGUF

bartowskiによって開発

PocketDoc/Dans-SakuraKaze-V1.0.0-12bを基にしたLlamacpp imatrix量子化バージョンで、複数の量子化タイプをサポートし、テキスト生成タスクに適しています。

大規模言語モデル英語オープンソースライセンス:Apache-2.0 #マルチドメインテキスト生成 #高精度量子化 #低リソース適応

ダウンロード数 788

リリース時間 : 4/25/2025

モデル概要

これは12Bパラメータ規模のテキスト生成モデルで、量子化処理を施されており、様々なハードウェア環境で効率的に動作します。

モデル特徴

多様な量子化オプション

BF16からQ2_K_Lまで様々な量子化タイプを提供し、異なるハードウェアと性能ニーズに対応します。

高品質なテキスト生成

12Bパラメータ規模のモデルに基づき、高品質なテキストコンテンツを生成できます。

広範な互換性

LM Studio、llama.cppなど様々なプラットフォームでの実行をサポートします。

モデル能力

テキスト生成

指示追従

ストーリー創作

対話生成

使用事例

クリエイティブライティング

ストーリー創作

一貫性があり創造性豊かなストーリーコンテンツを生成します。

小説や脚本創作に適した高品質なストーリーテキスト。

対話システム

仮想アシスタント

インテリジェントな対話システムの構築に使用できます。

自然で流暢な対話応答。

quantized_by: bartowski pipeline_tag: text-generation language:

en license: apache-2.0 base_model: PocketDoc/Dans-SakuraKaze-V1.0.0-12b datasets:
PocketDoc/Dans-Prosemaxx-Cowriter-3-S
PocketDoc/Dans-Prosemaxx-Adventure
PocketDoc/Dans-Failuremaxx-Adventure-3
PocketDoc/Dans-Prosemaxx-InstructWriter-ZeroShot
PocketDoc/Dans-Prosemaxx-InstructWriter-Continue
PocketDoc/Dans-Personamaxx-VN
PocketDoc/Dans-Personamaxx
PocketDoc/Dans-Personamaxx-Rainy
PocketDoc/Dans-Personamaxx-C1

PocketDoc/Dans-SakuraKaze-V1.0.0-12bのLlamacpp imatrix量子化

llama.cppのリリースb4882を使用して量子化しました。

オリジナルモデル: https://huggingface.co/PocketDoc/Dans-SakuraKaze-V1.0.0-12b

全ての量子化はimatrixオプションを使用し、こちらのデータセットから作成されました。

LM Studioで実行可能

llama.cppまたは他のllama.cppベースのプロジェクトで直接実行可能

プロンプト形式

<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

以下のファイルをダウンロード（ブランチ全体ではなく）:

ファイル名	量子化タイプ	ファイルサイズ	分割	説明
Dans-SakuraKaze-V1.0.0-12b-bf16.gguf	bf16	24.50GB	false	完全なBF16重み
Dans-SakuraKaze-V1.0.0-12b-Q8_0.gguf	Q8_0	13.02GB	false	非常に高品質、通常不要だが利用可能な最大量子化
Dans-SakuraKaze-V1.0.0-12b-Q6_K_L.gguf	Q6_K_L	10.38GB	false	埋め込みと出力重みにQ8_0を使用。非常に高品質、ほぼ完璧、推奨
Dans-SakuraKaze-V1.0.0-12b-Q6_K.gguf	Q6_K	10.06GB	false	非常に高品質、ほぼ完璧、推奨
Dans-SakuraKaze-V1.0.0-12b-Q5_K_L.gguf	Q5_K_L	9.14GB	false	埋め込みと出力重みにQ8_0を使用。高品質、推奨
Dans-SakuraKaze-V1.0.0-12b-Q5_K_M.gguf	Q5_K_M	8.73GB	false	高品質、推奨
Dans-SakuraKaze-V1.0.0-12b-Q5_K_S.gguf	Q5_K_S	8.52GB	false	高品質、推奨
Dans-SakuraKaze-V1.0.0-12b-Q4_K_L.gguf	Q4_K_L	7.98GB	false	埋め込みと出力重みにQ8_0を使用。良好な品質、推奨
Dans-SakuraKaze-V1.0.0-12b-Q4_1.gguf	Q4_1	7.80GB	false	レガシー形式、Q4_K_Sと類似の性能だがAppleシリコンでトークン/ワットが改善
Dans-SakuraKaze-V1.0.0-12b-Q4_K_M.gguf	Q4_K_M	7.48GB	false	良好な品質、ほとんどのユースケースのデフォルトサイズ、推奨
Dans-SakuraKaze-V1.0.0-12b-Q3_K_XL.gguf	Q3_K_XL	7.15GB	false	埋め込みと出力重みにQ8_0を使用。品質は低いが使用可能、低RAM環境向け
Dans-SakuraKaze-V1.0.0-12b-Q4_K_S.gguf	Q4_K_S	7.12GB	false	品質はやや低いがスペース節約、推奨
Dans-SakuraKaze-V1.0.0-12b-IQ4_NL.gguf	IQ4_NL	7.10GB	false	IQ4_XSと類似だがやや大きい。ARM CPU推論用にオンライン再パッキング可能
Dans-SakuraKaze-V1.0.0-12b-Q4_0.gguf	Q4_0	7.09GB	false	レガシー形式、ARMおよびAVX CPU推論用にオンライン再パッキング可能
Dans-SakuraKaze-V1.0.0-12b-IQ4_XS.gguf	IQ4_XS	6.74GB	false	適度な品質、Q4_K_Sより小さく類似性能、推奨
Dans-SakuraKaze-V1.0.0-12b-Q3_K_L.gguf	Q3_K_L	6.56GB	false	品質は低いが使用可能、低RAM環境向け
Dans-SakuraKaze-V1.0.0-12b-Q3_K_M.gguf	Q3_K_M	6.08GB	false	低品質
Dans-SakuraKaze-V1.0.0-12b-IQ3_M.gguf	IQ3_M	5.72GB	false	中低品質、Q3_K_Mと同等の性能を持つ新しい手法
Dans-SakuraKaze-V1.0.0-12b-Q3_K_S.gguf	Q3_K_S	5.53GB	false	低品質、非推奨
Dans-SakuraKaze-V1.0.0-12b-Q2_K_L.gguf	Q2_K_L	5.45GB	false	埋め込みと出力重みにQ8_0を使用。非常に低品質だが驚くほど使用可能
Dans-SakuraKaze-V1.0.0-12b-IQ3_XS.gguf	IQ3_XS	5.31GB	false	低品質、Q3_K_Sよりやや優れた性能の新しい手法
Dans-SakuraKaze-V1.0.0-12b-IQ3_XXS.gguf	IQ3_XXS	4.95GB	false	低品質、Q3量子化と同等の性能の新しい手法
Dans-SakuraKaze-V1.0.0-12b-Q2_K.gguf	Q2_K	4.79GB	false	非常に低品質だが驚くほど使用可能
Dans-SakuraKaze-V1.0.0-12b-IQ2_M.gguf	IQ2_M	4.44GB	false	比較的低品質だがSOTA技術で驚くほど使用可能
Dans-SakuraKaze-V1.0.0-12b-IQ2_S.gguf	IQ2_S	4.14GB	false	低品質、SOTA技術で使用可能

埋め込み/出力重み

一部の量子化（Q3_K_XL、Q4_K_Lなど）は標準的な量子化手法で、埋め込みと出力重みが通常のデフォルト値ではなくQ8_0で量子化されています。

huggingface-cliを使用したダウンロード

クリックしてダウンロード手順を表示

まず、huggingface-cliがインストールされていることを確認してください:

pip install -U "huggingface_hub[cli]"

次に、特定のファイルを指定してダウンロードできます:

huggingface-cli download bartowski/PocketDoc_Dans-SakuraKaze-V1.0.0-12b-GGUF --include "PocketDoc_Dans-SakuraKaze-V1.0.0-12b-Q4_K_M.gguf" --local-dir ./

モデルが50GBより大きい場合、複数のファイルに分割されています。それらをすべてローカルフォルダにダウンロードするには、以下を実行します:

huggingface-cli download bartowski/PocketDoc_Dans-SakuraKaze-V1.0.0-12b-GGUF --include "PocketDoc_Dans-SakuraKaze-V1.0.0-12b-Q8_0/*" --local-dir ./

新しいlocal-dir（PocketDoc_Dans-SakuraKaze-V1.0.0-12b-Q8_0）を指定するか、すべてをその場（./）にダウンロードできます

ARM/AVX情報

以前はQ4_0_4_4/4_8/8_8をダウンロードし、これらの重みはメモリ内でインターリーブされ、ARMおよびAVXマシンでのパフォーマンスを向上させるために一度により多くのデータをロードしていました。

しかし現在では、重みの「オンライン再パッキング」と呼ばれる機能があります。詳細はこのPRをご覧ください。Q4_0を使用し、ハードウェアが重みの再パッキングの恩恵を受ける場合、自動的にオンザフライで実行されます。

llama.cppビルドb4282以降、Q4_0_X_Xファイルを実行できなくなり、代わりにQ4_0を使用する必要があります。

さらに、このPRのおかげで、IQ4_NLを使用してやや良い品質を得ることができます。これはARM用に重みを再パッキングしますが、現時点では4_4のみです。ロード時間は遅くなる可能性がありますが、全体的な速度向上につながります。

クリックしてQ4_0_X_X情報を表示（非推奨）

このセクションは、Q4_0とオンライン再パッキングを使用した場合の潜在的な理論上のパフォーマンス向上を示すために保持しています。

クリックしてAVX2システム（EPYC7702）でのベンチマークを表示

model	size	params	backend	threads	test	t/s	% (vs Q4_0)
qwen2 3B Q4_0	1.70 GiB	3.09 B	CPU	64	pp512	204.03 ± 1.03	100%
qwen2 3B Q4_0	1.70 GiB	3.09 B	CPU	64	pp1024	282.92 ± 0.19	100%
qwen2 3B Q4_0	1.70 GiB	3.09 B	CPU	64	pp2048	259.49 ± 0.44	100%
qwen2 3B Q4_0	1.70 GiB	3.09 B	CPU	64	tg128	39.12 ± 0.27	100%
qwen2 3B Q4_0	1.70 GiB	3.09 B	CPU	64	tg256	39.31 ± 0.69	100%
qwen2 3B Q4_0	1.70 GiB	3.09 B	CPU	64	tg512	40.52 ± 0.03	100%
qwen2 3B Q4_K_M	1.79 GiB	3.09 B	CPU	64	pp512	301.02 ± 1.74	147%
qwen2 3B Q4_K_M	1.79 GiB	3.09 B	CPU	64	pp1024	287.23 ± 0.20	101%
qwen2 3B Q4_K_M	1.79 GiB	3.09 B	CPU	64	pp2048	262.77 ± 1.81	101%
qwen2 3B Q4_K_M	1.79 GiB	3.09 B	CPU	64	tg128	18.80 ± 0.99	48%
qwen2 3B Q4_K_M	1.79 GiB	3.09 B	CPU	64	tg256	24.46 ± 3.04	83%
qwen2 3B Q4_K_M	1.79 GiB	3.09 B	CPU	64	tg512	36.32 ± 3.59	90%
qwen2 3B Q4_0_8_8	1.69 GiB	3.09 B	CPU	64	pp512	271.71 ± 3.53	133%
qwen2 3B Q4_0_8_8	1.69 GiB	3.09 B	CPU	64	pp1024	279.86 ± 45.63	100%
qwen2 3B Q4_0_8_8	1.69 GiB	3.09 B	CPU	64	pp2048	320.77 ± 5.00	124%
qwen2 3B Q4_0_8_8	1.69 GiB	3.09 B	CPU	64	tg128	43.51 ± 0.05	111%
qwen2 3B Q4_0_8_8	1.69 GiB	3.09 B	CPU	64	tg256	43.35 ± 0.09	110%
qwen2 3B Q4_0_8_8	1.69 GiB	3.09 B	CPU	64	tg512	42.60 ± 0.31	105%

Q4_0_8_8はプロンプト処理に良い向上をもたらし、テキスト生成にも小さな向上をもたらします

どのファイルを選ぶべきか？

詳細はこちら

Artefact2によるさまざまなパフォーマンスを示すチャート付きの優れた説明がこちらにあります

最初に、実行可能なモデルのサイズを把握する必要があります。これには、RAMやVRAMの量を確認する必要があります。

モデルを可能な限り高速に実行したい場合は、GPUのVRAMに全体を収める必要があります。GPUの総VRAMより1-2GB小さい量子化を選んでください。

絶対的な最高品質を求めている場合は、システムRAMとGPUのVRAMを合計し、同様に合計より1-2GB小さい量子化を選んでください。

次に、「I-quant」または「K-quant」を使用するかどうかを決める必要があります。

あまり考えたくない場合は、K-quantのいずれかを選んでください。これらは「QX_K_X」形式で、例えばQ5_K_Mなどです。

さらに詳しく知りたい場合は、この非常に便利な機能マトリックスを確認できます:

llama.cpp機能マトリックス

基本的に、Q4以下を目指していて、cuBLAS（Nvidia）またはrocBLAS（AMD）を実行している場合は、I-quantを検討する必要があります。これらは「IQX_X」形式で、例えばIQ3_Mなどです。これらは新しく、サイズに対してより良いパフォーマンスを提供します。

これらのI-quantはCPUでも使用できますが、K-quant相当よりも遅くなるため、速度とパフォーマンスのトレードオフを決定する必要があります。

I-quantはVulcan（これもAMD）と互換性がありません。AMDカードをお持ちの場合は、rocBLASビルドかVulcanビルドかを再確認してください。この記事を書いている時点では、LM StudioにはROCmサポート付きのプレビューがあり、他の推論エンジンにはROCm用の特定のビルドがあります。