Gryphe Codex 24B Small 3.2 GGUF

🚀 GrypheのCodex-24B-Small-3.2のLlamacpp imatrix量子化バージョン

本プロジェクトは、GrypheのCodex-24B-Small-3.2モデルの量子化バージョンです。量子化技術を利用することで、様々なハードウェア環境でモデルをより効率的に実行することができます。

モデル情報

🚀 クイックスタート

この量子化モデルは、llama.cpp の b5697 バージョンを使用して量子化されています。 元のモデルのアドレス：Gryphe/Codex-24B-Small-3.2

すべての量子化モデルは、imatrixオプションを使用し、ここ のデータセットを使用しています。

モデルを以下の方法で実行することができます：

• LM Studio で実行する。
• llama.cpp または他のllama.cppベースのプロジェクトを直接使用して実行する。

✨ 主な機能

プロンプト形式

チャットテンプレートが指定されていないため、デフォルトのテンプレートが使用されます。これにはエラーが含まれる可能性がありますので、詳細情報は元のモデルカードを参照してください。

<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

ファイルのダウンロード

以下のリストから、単一のファイル（ブランチ全体ではなく）を選択してダウンロードすることができます：

埋め込み/出力ウェイト

一部の量子化モデル（Q3_K_XL、Q4_K_Lなど）は、標準的な量子化方法を使用して、埋め込みと出力ウェイトをデフォルト値ではなくQ8_0に量子化しています。

📦 インストール

huggingface-cliを使用したダウンロード

pip install -U "huggingface_hub[cli]"

huggingface-cli download bartowski/Gryphe_Codex-24B-Small-3.2-GGUF --include "Gryphe_Codex-24B-Small-3.2-Q4_K_M.gguf" --local-dir ./

huggingface-cli download bartowski/Gryphe_Codex-24B-Small-3.2-GGUF --include "Gryphe_Codex-24B-Small-3.2-Q8_0/*" --local-dir ./

🔧 技術詳細

ARM/AVX情報

以前は、Q4_0_4_4/4_8/8_8ファイルをダウンロードしていました。これらのファイルのウェイトは、ARMおよびAVXマシンのパフォーマンスを向上させるために、一度により多くのデータをロードすることができるように、メモリ内で交差配置されていました。

しかし、現在では「オンライン再パッキング」と呼ばれるウェイト処理方法があります。詳細は このPR を参照してください。Q4_0を使用し、ハードウェアがウェイトの再パッキングから恩恵を受ける場合、実行時に自動的に処理されます。

llama.cppのビルドバージョン b4282 以降では、Q4_0_X_Xファイルを実行することはできず、Q4_0を使用する必要があります。

さらに、少し高い品質が必要な場合は、IQ4_NLを使用することができます。これは このPR のおかげで、ARM用にウェイトを再パッキングしますが、現在は4_4のみをサポートしています。ロード時間は長くなる可能性がありますが、全体的な速度は向上します。

ファイルの選択方法

📄 ライセンス

本プロジェクトは、apache-2.0ライセンスを使用しています。

謝辞

kalomazeとDampfがimatrixキャリブレーションデータセットの作成に協力してくれたことに感謝します。 ZeroWwが埋め込み/出力実験にインスピレーションを与えてくれたことに感謝します。 LM Studioが私の仕事を支援してくれたことに感謝します。

私の仕事を支援したい場合は、私のko-fiページにアクセスしてください：https://ko-fi.com/bartowski