Pinkpixel Crystal Think V2 GGUF

🚀 PinkPixelのCrystal-Think-V2のLlamacpp imatrix量子化バージョン

このプロジェクトは、PinkPixelのCrystal-Think-V2モデルに対する量子化処理です。様々な量子化タイプのモデルファイルを提供し、異なるハードウェアと性能要件を満たすことを目的としています。llama.cppを使用して量子化することで、ユーザーはさまざまな環境でこのモデルを効率的に実行できます。

🚀 クイックスタート

llama.cpp のバージョン b5760 を使用して量子化します。

• オリジナルモデル：https://huggingface.co/PinkPixel/Crystal-Think-V2
• すべての量子化モデルはimatrixオプションを使用し、ここ のデータセットを採用しています。
• これらの量子化モデルは LM Studio で実行できます。
• llama.cpp またはllama.cppベースの任意のプロジェクトを直接使用して実行することもできます。

✨ 主な機能

• 多様な量子化タイプ：bf16、Q8_0、Q6_K_Lなど、豊富な量子化タイプを提供し、さまざまな性能と品質要件を満たします。
• オンライン再パッケージ化：一部の量子化モデルはオンライン再パッケージ化をサポートし、ARMとAVXマシンの性能を自動的に最適化できます。
• 柔軟なダウンロード：huggingface-cliを使用して特定の量子化モデルファイルをダウンロードできます。

📦 インストール

huggingface-cliを使用したダウンロード

pip install -U "huggingface_hub[cli]"

huggingface-cli download bartowski/PinkPixel_Crystal-Think-V2-GGUF --include "PinkPixel_Crystal-Think-V2-Q4_K_M.gguf" --local-dir ./

huggingface-cli download bartowski/PinkPixel_Crystal-Think-V2-GGUF --include "PinkPixel_Crystal-Think-V2-Q8_0/*" --local-dir ./

💻 使用例

プロンプト形式

チャットテンプレートが指定されていないため、デフォルトのテンプレートが使用されます。これは正しくない場合があります。詳細については、オリジナルのモデルカードを参照してください。

{system_prompt}<|endoftext|>{prompt}<|endoftext|><think>

📚 ドキュメント

ダウンロードファイルの選択

埋め込み/出力ウェイト

一部の量子化モデル（Q3_K_XL、Q4_K_Lなど）は、標準的な量子化方法を使用し、埋め込みと出力ウェイトを通常のデフォルト値ではなくQ8_0に量子化します。

ARM/AVX情報

以前は、Q4_0_4_4/4_8/8_8をダウンロードしていました。これらのモデルのウェイトはメモリ内で交差配置され、より多くのデータを一度にロードすることでARMとAVXマシンの性能を向上させていました。

しかし、現在ではいわゆるウェイトの「オンライン再パッケージ化」機能があります。詳細は このPR を参照してください。Q4_0を使用し、ハードウェアがウェイトの再パッケージ化から恩恵を受ける場合、自動的にリアルタイムで再パッケージ化されます。

llama.cppのビルドバージョン b4282 以降では、Q4_0_X_Xファイルを実行できなくなり、Q4_0を使用する必要があります。

また、やや高い品質が必要な場合は、IQ4_NLを使用できます。このPR のおかげで、ARM用にウェイトを再パッケージ化することもできますが、現在は4_4にのみ適用されます。ロード時間は長くなる可能性がありますが、全体的な速度は向上します。