LGAI EXAONE EXAONE 4.0 32B GGUF

🚀 LGAI-EXAONEによるEXAONE-4.0-32BのLlamacpp imatrix量子化

このプロジェクトは、LGAI-EXAONEによるEXAONE-4.0-32Bモデルの量子化バージョンを提供します。量子化にはllama.cppを使用しており、異なる量子化タイプのモデルファイルが用意されています。

🚀 クイックスタート

量子化情報

• quantized_by: bartowski
• pipeline_tag: テキスト生成
• base_model: LGAI-EXAONE/EXAONE-4.0-32B
• base_model_relation: 量子化済み

実行方法

• LM Studio で実行することができます。
• llama.cpp または他のllama.cppベースのプロジェクトで直接実行することもできます。

✨ 主な機能

• 多様な量子化タイプ：bf16、Q8_0、Q6_K_Lなど、様々な量子化タイプのモデルファイルが用意されており、ユーザーのハードウェア環境や性能要求に合わせて選択できます。
• オンラインリパッキング：Q4_0などのモデルでは、オンラインリパッキング機能により、ARMやAVXマシンでの性能が向上します。

📦 インストール

huggingface-cliを使用したダウンロード

まず、hugginface-cliがインストールされていることを確認してください。

pip install -U "huggingface_hub[cli]"

特定のファイルをダウンロードするには、以下のコマンドを実行します。

huggingface-cli download bartowski/LGAI-EXAONE_EXAONE-4.0-32B-GGUF --include "LGAI-EXAONE_EXAONE-4.0-32B-Q4_K_M.gguf" --local-dir ./

モデルが50GBを超える場合、複数のファイルに分割されています。すべてのファイルをローカルフォルダにダウンロードするには、以下のコマンドを実行します。

huggingface-cli download bartowski/LGAI-EXAONE_EXAONE-4.0-32B-GGUF --include "LGAI-EXAONE_EXAONE-4.0-32B-Q8_0/*" --local-dir ./

新しいローカルディレクトリを指定するか、現在のディレクトリにすべてをダウンロードすることができます。

💻 使用例

プロンプトフォーマット

チャットテンプレートは指定されていないため、デフォルトのものが使用されます。詳細は、元のモデルカードを確認してください。

[|system|]
{system_prompt}[|endofturn|]
[|user|]
{prompt}[|endofturn|]
[|assistant|]
<think>

</think>

📚 ドキュメント

ダウンロード可能なファイル

以下の表に、ダウンロード可能なファイルの情報を示します。

埋め込み/出力ウェイト

一部の量子化モデル（Q3_K_XL、Q4_K_Lなど）は、標準的な量子化方法を使用しており、埋め込みと出力ウェイトは通常のデフォルトではなく、Q8_0に量子化されています。

ARM/AVX情報

以前は、Q4_0_4_4/4_8/8_8をダウンロードし、これらのウェイトはメモリ内でインターリーブされていました。これにより、ARMおよびAVXマシンで一度により多くのデータをロードし、パフォーマンスを向上させることができました。

現在では、ウェイトの「オンラインリパッキング」と呼ばれる機能があります。詳細は このPR を参照してください。Q4_0を使用し、ハードウェアがウェイトのリパッキングによって恩恵を受ける場合、自動的にリパッキングが行われます。

llama.cppビルド b4282 以降では、Q4_0_X_Xファイルを実行することはできず、代わりにQ4_0を使用する必要があります。

さらに、このPR により、IQ4_NLを使用すると、ARM用にウェイトをリパッキングすることができ、若干品質を向上させることができます。ただし、現在は4_4のみです。ロード時間は長くなる可能性がありますが、全体的な速度が向上します。

どのファイルを選ぶべきか

まず、実行可能なモデルのサイズを決定するために、利用可能なRAMとVRAMの量を把握する必要があります。

モデルをできるだけ高速に実行したい場合は、モデル全体をGPUのVRAMに収めることを目指します。GPUの総VRAMよりも1 - 2GB小さいファイルサイズの量子化モデルを選択してください。

最高の品質を求める場合は、システムRAMとGPUのVRAMを合計し、その合計よりも1 - 2GB小さいファイルサイズの量子化モデルを選択してください。

次に、「I-quant」または「K-quant」を使用するかを決定する必要があります。

あまり深く考えたくない場合は、K-quantのいずれかを選択してください。これらは「QX_K_X」の形式で、例えばQ5_K_Mです。

もっと詳細を知りたい場合は、この非常に便利な機能チャートを参照できます。

llama.cpp feature matrix

基本的に、Q4以下を目指し、cuBLAS（Nvidia）またはrocBLAS（AMD）を使用している場合は、I-quantを検討する必要があります。これらはIQX_Xの形式で、例えばIQ3_Mです。これらは新しく、サイズに対してより良いパフォーマンスを提供します。

これらのI-quantはCPUでも使用できますが、同等のK-quantよりも遅くなります。したがって、速度とパフォーマンスのトレードオフを決定する必要があります。

🔧 技術詳細

量子化には llama.cpp のリリース b5934 を使用しています。すべての量子化は、imatrixオプションを使用し、ここ のデータセットを用いて行われています。

📄 ライセンス

本READMEにはライセンス情報が記載されていません。詳細は元のモデルや関連リポジトリを参照してください。

クレジット

• kalomazeとDampfには、imatrixキャリブレーションデータセットの作成に協力してくれたことに感謝します。
• ZeroWwには、埋め込み/出力の実験のインスピレーションを与えてくれたことに感謝します。
• LM Studioには、私の作業を支援してくれたことに感謝します。

私の作業をサポートしたい場合は、こちらのko-fiページをご覧ください：https://ko-fi.com/bartowski