LGAI-EXAONE_EXAONE-4.0-1.2B-GGUFオープンソース言語モデル - 複数量化バージョンで様々なハードウェアに対応

ホーム

LGAI EXAONE EXAONE 4.0 1.2B GGUF

bartowskiによって開発

EXAONE-4.0-1.2BはLGAI-EXAONEがリリースした12億パラメータの言語モデルで、さまざまな量子化バージョンを提供して、異なるハードウェア要件に対応します。

大規模言語モデル #多量化選択 #低メモリ最適化 #オンライン再パッケージング

ダウンロード数 402

リリース時間 : 7/19/2025

モデル概要

このモデルはllama.cppで量子化された12億パラメータの言語モデルで、BF16からQ2_Kまでのさまざまな量子化タイプを提供し、異なるハードウェア環境とパフォーマンス要件に適しています。

モデル特徴

複数の量子化オプション

BF16からQ2_Kまでのさまざまな量子化タイプを提供し、異なるハードウェアとパフォーマンス要件を満たします。

埋め込み/出力重みの最適化

一部の量子化モデルでは、埋め込みと出力の重みをQ8_0に量子化し、モデルのパフォーマンスを向上させます。

オンライン再パッケージングのサポート

一部の量子化モデルはオンライン再パッケージングをサポートし、ARMとAVXマシンでパフォーマンスを向上させることができます。

モデル能力

テキスト生成

対話システム

使用事例

対話システム

スマートアシスタント

スマート対話アシスタントの構築に使用できます。

コンテンツ生成

テキスト創作

テキスト創作の支援に使用できます。

🚀 LGAI-EXAONEによるEXAONE-4.0-1.2BのLlamacpp imatrix量子化

このプロジェクトは、LGAI-EXAONEによるEXAONE-4.0-1.2Bモデルの量子化を行っています。量子化には、llama.cppのリリース b5934 を使用しています。

🚀 クイックスタート

量子化モデルの実行方法

LM Studio で実行できます。
llama.cpp または他のllama.cppベースのプロジェクトで直接実行することもできます。

ダウンロード方法

個々のファイルをダウンロードするには、以下のリンクから選択してください。
huggingface-cliを使用してダウンロードする方法については、「Downloading using huggingface-cli」を参照してください。

✨ 主な機能

さまざまな量子化タイプのモデルを提供しています。
一部の量子化モデルでは、埋め込みと出力の重みをQ8_0に量子化することで、品質を向上させています。
オンラインでの重みの再パッキング機能により、ARMおよびAVXマシンでのパフォーマンスを向上させます。

📦 インストール

huggingface-cliのインストール

まず、huggingface-cliをインストールしてください。

pip install -U "huggingface_hub[cli]"

個別ファイルのダウンロード

特定のファイルをダウンロードするには、以下のコマンドを実行します。

huggingface-cli download bartowski/LGAI-EXAONE_EXAONE-4.0-1.2B-GGUF --include "LGAI-EXAONE_EXAONE-4.0-1.2B-Q4_K_M.gguf" --local-dir ./

分割ファイルのダウンロード

モデルが50GBを超える場合は、複数のファイルに分割されています。すべてのファイルをローカルフォルダにダウンロードするには、以下のコマンドを実行します。

huggingface-cli download bartowski/LGAI-EXAONE_EXAONE-4.0-1.2B-GGUF --include "LGAI-EXAONE_EXAONE-4.0-1.2B-Q8_0/*" --local-dir ./

💻 使用例

基本的な使用法

特定の量子化モデルを使用して推論を行うには、以下の手順に従ってください。

モデルをダウンロードします。
llama.cppまたはLM Studioを使用してモデルをロードします。
プロンプトを入力して推論を実行します。

高度な使用法

埋め込みと出力の重みを調整することで、モデルの品質を向上させることができます。
オンラインでの重みの再パッキング機能を使用して、ARMおよびAVXマシンでのパフォーマンスを向上させることができます。

📚 ドキュメント

プロンプト形式

チャットテンプレートが指定されていないため、デフォルトが使用されます。これが正しくない場合があるので、元のモデルカードを確認してください。

[|system|]
{system_prompt}[|endofturn|]
[|user|]
{prompt}[|endofturn|]
[|assistant|]
<think>

</think>

ダウンロードリンク

ファイル名	量子化タイプ	ファイルサイズ	分割	説明
EXAONE-4.0-1.2B-bf16.gguf	bf16	2.56GB	false	完全なBF16重み。
EXAONE-4.0-1.2B-Q8_0.gguf	Q8_0	1.36GB	false	非常に高品質で、一般的には必要ないが、利用可能な最大の量子化。
EXAONE-4.0-1.2B-Q6_K_L.gguf	Q6_K_L	1.10GB	false	埋め込みと出力の重みにQ8_0を使用。非常に高品質で、ほぼ完璧、推奨。
EXAONE-4.0-1.2B-Q6_K.gguf	Q6_K	1.05GB	false	非常に高品質で、ほぼ完璧、推奨。
EXAONE-4.0-1.2B-Q5_K_L.gguf	Q5_K_L	0.98GB	false	埋め込みと出力の重みにQ8_0を使用。高品質、推奨。
EXAONE-4.0-1.2B-Q5_K_M.gguf	Q5_K_M	0.93GB	false	高品質、推奨。
EXAONE-4.0-1.2B-Q5_K_S.gguf	Q5_K_S	0.91GB	false	高品質、推奨。
EXAONE-4.0-1.2B-Q4_K_L.gguf	Q4_K_L	0.86GB	false	埋め込みと出力の重みにQ8_0を使用。良好な品質、推奨。
EXAONE-4.0-1.2B-Q4_1.gguf	Q4_1	0.85GB	false	レガシー形式、Q4_K_Sと同様のパフォーマンスが得られますが、Appleシリコンでのトークン/ワットが向上します。
EXAONE-4.0-1.2B-Q4_K_M.gguf	Q4_K_M	0.81GB	false	良好な品質、ほとんどのユースケースでのデフォルトサイズ、推奨。
EXAONE-4.0-1.2B-Q3_K_XL.gguf	Q3_K_XL	0.79GB	false	埋め込みと出力の重みにQ8_0を使用。品質は低いが使用可能で、低RAM環境に適しています。
EXAONE-4.0-1.2B-Q4_K_S.gguf	Q4_K_S	0.78GB	false	品質がやや低い代わりに、より多くのスペースを節約できます、推奨。
EXAONE-4.0-1.2B-Q4_0.gguf	Q4_0	0.78GB	false	レガシー形式、ARMおよびAVX CPU推論用のオンライン再パッキングを提供します。
EXAONE-4.0-1.2B-IQ4_NL.gguf	IQ4_NL	0.78GB	false	IQ4_XSに似ていますが、やや大きいです。ARM CPU推論用のオンライン再パッキングを提供します。
EXAONE-4.0-1.2B-IQ4_XS.gguf	IQ4_XS	0.75GB	false	適度な品質で、Q4_K_Sよりも小さく、同様のパフォーマンスを持っています、推奨。
EXAONE-4.0-1.2B-Q3_K_L.gguf	Q3_K_L	0.74GB	false	品質は低いが使用可能で、低RAM環境に適しています。
EXAONE-4.0-1.2B-Q3_K_M.gguf	Q3_K_M	0.69GB	false	低品質。
EXAONE-4.0-1.2B-IQ3_M.gguf	IQ3_M	0.66GB	false	中程度の低品質で、Q3_K_Mに匹敵する適度なパフォーマンスを持つ新しい方法。
EXAONE-4.0-1.2B-Q3_K_S.gguf	Q3_K_S	0.64GB	false	低品質、推奨しません。
EXAONE-4.0-1.2B-IQ3_XS.gguf	IQ3_XS	0.62GB	false	低品質で、適度なパフォーマンスを持つ新しい方法で、Q3_K_Sよりも少し良いです。
EXAONE-4.0-1.2B-Q2_K_L.gguf	Q2_K_L	0.62GB	false	埋め込みと出力の重みにQ8_0を使用。非常に低品質ですが、意外にも使用可能です。
EXAONE-4.0-1.2B-Q2_K.gguf	Q2_K	0.57GB	false	非常に低品質ですが、意外にも使用可能です。
EXAONE-4.0-1.2B-IQ3_XXS.gguf	IQ3_XXS	0.56GB	false	低品質で、適度なパフォーマンスを持つ新しい方法で、Q3量子化に匹敵します。
EXAONE-4.0-1.2B-IQ2_M.gguf	IQ2_M	0.52GB	false	比較的低品質ですが、最先端の技術を使用しているため、意外にも使用可能です。

埋め込み/出力の重み

一部の量子化モデル（Q3_K_XL、Q4_K_Lなど）は、標準的な量子化方法を使用しており、埋め込みと出力の重みが通常のデフォルトではなく、Q8_0に量子化されています。

ARM/AVX情報

以前は、Q4_0_4_4/4_8/8_8をダウンロードし、これらの重みをメモリ内でインターリーブすることで、ARMおよびAVXマシンでのパフォーマンスを向上させていました。

現在では、重みの「オンライン再パッキング」と呼ばれる機能があります。詳細はこのPR を参照してください。Q4_0を使用し、ハードウェアが重みの再パッキングによって恩恵を受ける場合、自動的に実行されます。

llama.cppビルド b4282 以降では、Q4_0_X_Xファイルを実行することはできず、代わりにQ4_0を使用する必要があります。

さらに、このPR により、IQ4_NLを使用すると、ARM用の重みを再パッキングすることができます（現在は4_4のみ）。読み込み時間は長くなる可能性がありますが、全体的な速度が向上します。

どのファイルを選ぶべきか？

詳細はこちらをクリック

Artefact2による、さまざまなパフォーマンスを示すチャート付きの素晴らしい記事がこちらにあります。

まず、実行できるモデルのサイズを把握する必要があります。これには、持っているRAMおよび/またはVRAMの量を調べる必要があります。

モデルをできるだけ高速に実行したい場合は、全体をGPUのVRAMに収めることを目指してください。GPUの総VRAMよりも1 - 2GB小さいファイルサイズの量子化を選択してください。

絶対的な最高品質を求める場合は、システムRAMとGPUのVRAMを合計し、その合計よりも1 - 2GB小さいファイルサイズの量子化を選択してください。

次に、「I-quant」または「K-quant」を使用するかを決定する必要があります。

あまり考えたくない場合は、K-quantのいずれかを選択してください。これらは「QX_K_X」の形式で、Q5_K_Mなどがあります。

もっと詳しく調べたい場合は、この非常に便利な機能チャートを確認することができます。

llama.cpp feature matrix

基本的に、Q4以下を目指し、cuBLAS（Nvidia）またはrocBLAS（AMD）を使用している場合は、I-quantを検討する必要があります。これらはIQX_Xの形式で、IQ3_Mなどがあります。これらは新しく、サイズに対してより良いパフォーマンスを提供します。

これらのI-quantはCPUでも使用できますが、同等のK-quantよりも遅くなります。したがって、速度とパフォーマンスのトレードオフを決定する必要があります。

🔧 技術詳細

量子化には、llama.cppのリリース b5934 を使用しています。
すべての量子化は、imatrixオプションを使用し、ここのデータセットを使用して行われています。

📄 ライセンス

このプロジェクトのライセンスについては、元のモデルのライセンスを参照してください。

クレジット

kalomazeとDampfには、imatrixキャリブレーションデータセットの作成に協力してくれたことに感謝します。
ZeroWwには、埋め込み/出力の実験のインスピレーションを提供してくれたことに感謝します。
LM Studioには、私の仕事を支援してくれたことに感謝します。

私の仕事をサポートしたい場合は、こちらのko-fiページを訪問してください：https://ko-fi.com/bartowski