Cognitivecomputations Qwen3 72B Embiggened GGUF

🚀 cognitivecomputationsによるQwen3-72B-EmbiggenedのLlamacpp imatrix量子化

このプロジェクトは、llama.cpp のリリース b5627 を使用して、cognitivecomputationsによるQwen3-72B-Embiggenedモデルの量子化を行っています。量子化には、こちら のデータセットを用いて、imatrixオプションを使用しています。

基本情報

🚀 クイックスタート

元のモデルは こちら です。量子化されたモデルは、LM Studio で実行することができます。また、llama.cpp や他のllama.cppベースのプロジェクトで直接実行することも可能です。

プロンプトフォーマット

<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

📦 インストール

huggingface-cliを使用したダウンロード

まず、hugginface-cliがインストールされていることを確認してください。

pip install -U "huggingface_hub[cli]"

次に、ダウンロードしたい特定のファイルを指定することができます。

huggingface-cli download bartowski/cognitivecomputations_Qwen3-72B-Embiggened-GGUF --include "cognitivecomputations_Qwen3-72B-Embiggened-Q4_K_M.gguf" --local-dir ./

モデルが50GBを超える場合、複数のファイルに分割されています。これらをすべてローカルフォルダにダウンロードするには、次のコマンドを実行します。

huggingface-cli download bartowski/cognitivecomputations_Qwen3-72B-Embiggened-GGUF --include "cognitivecomputations_Qwen3-72B-Embiggened-Q8_0/*" --local-dir ./

新しいローカルディレクトリ（cognitivecomputations_Qwen3-72B-Embiggened-Q8_0）を指定するか、すべてをそのままダウンロードすることができます（./）。

💻 使用例

モデルの選択

どのファイルを選ぶべきかについては、まず実行できるモデルのサイズを判断する必要があります。これには、持っているRAMやVRAMの容量を把握する必要があります。

モデルをできるだけ高速に実行したい場合は、モデル全体をGPUのVRAMに収めることが望ましいです。GPUの総VRAMよりも1 - 2GB小さいファイルサイズの量子化モデルを選びましょう。

最高の品質を求める場合は、システムRAMとGPUのVRAMを合計し、その合計よりも1 - 2GB小さいファイルサイズの量子化モデルを選びます。

次に、'I-quant' または 'K-quant' を使用するかを決定する必要があります。あまり考えたくない場合は、K-quantを選ぶと良いでしょう。これらは 'QX_K_X' の形式で、例えばQ5_K_Mです。

もっと詳細に調べたい場合は、llama.cpp feature matrix を参照することができます。基本的に、Q4以下を目指し、cuBLAS（Nvidia）またはrocBLAS（AMD）を使用している場合は、I-quantを検討すると良いです。これらはIQX_Xの形式で、例えばIQ3_Mです。これらは新しい形式で、サイズに対してより良いパフォーマンスを提供します。

ダウンロード可能なファイル一覧

🔧 技術詳細

埋め込み/出力の重み

一部の量子化モデル（Q3_K_XL、Q4_K_Lなど）は、標準的な量子化方法を使用していますが、埋め込みと出力の重みは通常のデフォルト値ではなく、Q8_0に量子化されています。

ARM/AVX情報

以前は、Q4_0_4_4/4_8/8_8をダウンロードし、これらの重みはメモリ内でインターリーブされていました。これにより、ARMおよびAVXマシンでのパフォーマンスが向上しました。

現在では、重みの「オンライン再パッキング」という機能があります。詳細は このPR を参照してください。Q4_0を使用し、ハードウェアが重みの再パッキングによって恩恵を受ける場合、自動的に実行されます。

llama.cppビルド b4282 以降、Q4_0_X_Xファイルを実行することはできなくなり、代わりにQ4_0を使用する必要があります。

また、このPR により、IQ4_NLを使用することで、少し良い品質を得ることができます。これはARM用に重みを再パッキングしますが、現在は4_4のみです。読み込み時間は長くなる可能性がありますが、全体的な速度が向上します。

📄 ライセンス

このプロジェクトは、Apache 2.0ライセンスの下で公開されています。

クレジット

imatrixキャリブレーションデータセットの作成に協力してくれたkalomazeとDampfに感謝します。

埋め込み/出力の実験のインスピレーションを与えてくれたZeroWwに感謝します。

私の仕事を支援してくれたLM Studioに感謝します。

私の仕事を支援したい場合は、こちら のko-fiページを訪問してください。