EXAONE Deep 2.4B GGUF

🚀 EXAONE-Deep-2.4B GGUFモデル

EXAONE-Deep-2.4B GGUFモデルは、多言語対応で、数学やコーディングなどの推論タスクで優れた性能を発揮します。モデル形式の選択に柔軟性があり、様々なハードウェア環境での利用が可能です。

🚀 クイックスタート

このモデルを使い始めるには、まず適切なモデル形式を選択する必要があります。選択に際しては、ハードウェア性能とメモリ制約を考慮してください。

✨ 主な機能

• 多言語対応：英語と韓国語に対応しています。
• 高性能推論：数学やコーディングなどの推論タスクで優れた性能を発揮します。
• モデル形式の選択肢が豊富：BF16、F16、量子化モデルなど、様々なモデル形式から選択できます。

📦 インストール

推論フレームワークを使用してモデルをインストールできます。対応するフレームワークには、TensorRT-LLM、vLLM、SGLang、llama.cpp、Ollama、LM-Studio などがあります。詳細については、EXAONE DeepのGitHub を参照してください。

📚 ドキュメント

適切なモデル形式の選択

正しいモデル形式を選択するには、ハードウェア性能とメモリ制約を考慮する必要があります。

BF16 (Brain Float 16) – BF16アクセラレーションが利用可能な場合に使用

• 高速計算を目的とした16ビット浮動小数点形式で、精度も良好です。
• FP32と同様のダイナミックレンジを持ちながら、低いメモリ使用量を実現します。
• ハードウェアがBF16アクセラレーションをサポートしている場合に推奨されます（デバイスの仕様を確認してください）。
• FP32と比較してメモリ使用量を削減しながら、高性能な推論に最適です。

📌 BF16を使用する場合 ✔ ハードウェアがネイティブでBF16をサポートしている場合（例：最新のGPU、TPU）。 ✔ メモリを節約しながらより高い精度が必要な場合。 ✔ モデルを別の形式に再量子化する予定の場合。

📌 BF16を避ける場合 ❌ ハードウェアがBF16をサポートしていない場合（FP32にフォールバックし、低速になる可能性があります）。 ❌ BF16最適化がない古いデバイスとの互換性が必要な場合。

F16 (Float 16) – BF16よりも広くサポートされている

• 16ビットの浮動小数点形式で、高精度ですが、BF16よりも表現できる値の範囲が狭いです。
• FP16アクセラレーションをサポートするほとんどのデバイスで動作します（多くのGPUや一部のCPUを含む）。
• BF16よりもわずかに数値精度が低いですが、一般的に推論には十分です。

📌 F16を使用する場合 ✔ ハードウェアがFP16をサポートしているが、BF16をサポートしていない場合。 ✔ 速度、メモリ使用量、精度のバランスが必要な場合。 ✔ GPUまたはFP16計算に最適化された他のデバイスで実行している場合。

📌 F16を避ける場合 ❌ デバイスがネイティブでFP16をサポートしていない場合（予想よりも低速になる可能性があります）。 ❌ メモリに制限がある場合。

量子化モデル (Q4_K, Q6_K, Q8など) – CPUと低VRAMでの推論用

量子化は、できるだけ精度を維持しながら、モデルサイズとメモリ使用量を削減します。

• 低ビットモデル (Q4_K) → 最小限のメモリ使用量に最適ですが、精度が低くなる可能性があります。
• 高ビットモデル (Q6_K, Q8_0) → より高い精度が得られますが、より多くのメモリが必要です。

📌 量子化モデルを使用する場合 ✔ CPUで推論を実行し、最適化されたモデルが必要な場合。 ✔ デバイスのVRAMが少なく、全精度モデルをロードできない場合。 ✔ 適度な精度を維持しながらメモリ使用量を削減したい場合。

📌 量子化モデルを避ける場合 ❌ 最高精度が必要な場合（全精度モデルの方が適しています）。 ❌ ハードウェアに高い精度の形式（BF16/F16）用の十分なVRAMがある場合。

超低ビット量子化 (IQ3_XS, IQ3_S, IQ3_M, Q4_K, Q4_0)

これらのモデルは、極限のメモリ効率を目指して最適化されており、低電力デバイスやメモリが重要な制約となる大規模なデプロイメントに最適です。

• IQ3_XS：超低ビット量子化（3ビット）で、極限のメモリ効率を実現します。

  • 使用ケース：Q4_Kでも大きすぎる超低メモリデバイスに最適です。
  • トレードオフ：高ビット量子化と比較して精度が低くなります。

• IQ3_S：最大限のメモリ効率を実現するための小さなブロックサイズ。

  • 使用ケース：IQ3_XSが過度に制限的な場合の低メモリデバイスに最適です。

• IQ3_M：IQ3_Sよりも精度を向上させるための中サイズブロック。

  • 使用ケース：IQ3_Sが制限的な場合の低メモリデバイスに適しています。

• Q4_K：ブロック単位の最適化により精度を向上させた4ビット量子化。

  • 使用ケース：Q6_Kでは大きすぎる低メモリデバイスに最適です。

• Q4_0：純粋な4ビット量子化で、ARMデバイスに最適化されています。

  • 使用ケース：ARMベースのデバイスまたは低メモリ環境に最適です。

まとめ表：モデル形式の選択

含まれるファイルと詳細

EXAONE-Deep-2.4B-bf16.gguf

• モデルの重みがBF16で保存されています。
• モデルを別の形式に再量子化したい場合に使用します。
• デバイスがBF16アクセラレーションをサポートしている場合に最適です。

EXAONE-Deep-2.4B-f16.gguf

• モデルの重みがF16で保存されています。
• デバイスがFP16をサポートしている場合、特にBF16が利用できない場合に使用します。

EXAONE-Deep-2.4B-bf16-q8_0.gguf

• 出力と埋め込みはBF16のままです。
• 他のすべてのレイヤーはQ8_0に量子化されています。
• デバイスがBF16をサポートし、量子化バージョンが必要な場合に使用します。

EXAONE-Deep-2.4B-f16-q8_0.gguf

• 出力と埋め込みはF16のままです。
• 他のすべてのレイヤーはQ8_0に量子化されています。

EXAONE-Deep-2.4B-q4_k.gguf

• 出力と埋め込みはQ8_0に量子化されています。
• 他のすべてのレイヤーはQ4_Kに量子化されています。
• メモリが制限されたCPU推論に適しています。

EXAONE-Deep-2.4B-q4_k_s.gguf

• Q4_Kの最小バリアントで、精度を犠牲にしてメモリ使用量を削減します。
• 超低メモリの設定に最適です。

EXAONE-Deep-2.4B-q6_k.gguf

• 出力と埋め込みはQ8_0に量子化されています。
• 他のすべてのレイヤーはQ6_Kに量子化されています。

EXAONE-Deep-2.4B-q8_0.gguf

• 完全にQ8に量子化されたモデルで、より高い精度を実現します。
• より多くのメモリが必要ですが、より高い精度を提供します。

EXAONE-Deep-2.4B-iq3_xs.gguf

• IQ3_XS量子化で、極限のメモリ効率を目指して最適化されています。
• 超低メモリデバイスに最適です。

EXAONE-Deep-2.4B-iq3_m.gguf

• IQ3_M量子化で、精度を向上させるための中サイズブロックを提供します。
• 低メモリデバイスに適しています。

EXAONE-Deep-2.4B-q4_0.gguf

• 純粋なQ4_0量子化で、ARMデバイスに最適化されています。
• 低メモリ環境に最適です。
• より高い精度が必要な場合はIQ4_NLを選択してください。

これらのモデルが役に立った場合

いいねを押していただけると嬉しいです ❤ また、私のネットワークモニターアシスタントをテストしていただけると大変ありがたいです。👉 ネットワークモニターアシスタント

💬 チャットアイコン（メインページとダッシュボードページの右下）をクリックしてください。LLMを選択し、LLMタイプをTurboLLM -> FreeLLM -> TestLLMに切り替えます。

私がテストしているもの

私は、ネットワーク監視サービスに対して関数呼び出しを試しています。小さなオープンソースモデルを使用しています。私が興味を持っているのは、「どれだけ小さくしても機能するのか」という問題です。

🟡 TestLLM – Cpu VMの6スレッドでllama.cppを使用して現在のテストモデルを実行します（ロードに約15秒かかるはずです。推論速度はかなり遅く、一度に1つのユーザープロンプトしか処理できません—まだスケーリングに取り組んでいます！）。もし興味があれば、その仕組みを喜んで共有します！

他の利用可能なAIアシスタント

🟢 TurboLLM – gpt-4o-miniを使用しています。高速です！ 注意：OpenAIのモデルは高価なため、トークンに制限がありますが、ログインまたはダウンロードして無料のネットワークモニターエージェントを取得することで、より多くのトークンを取得できます。あるいは、TestLLMを使用してください。

🔵 HugLLM – オープンソースのHugging Faceモデルを実行します。高速ですが、小さなモデル（≈8B）を使用しているため、品質が低くなります。Hugging Face APIの利用可能状況に応じて、2倍のトークンを取得できます。

はじめに

LG AI Researchによって開発およびリリースされた、24億から320億のパラメータを持つEXAONE Deepを紹介します。このモデルは、数学やコーディングのベンチマークを含むさまざまな推論タスクで優れた性能を発揮します。モデルについては論文EXAONE Deep: Reasoning Enhanced Language Modelsで説明されており、コードはこちらで入手できます。評価結果から、1) EXAONE Deep 2.4Bは同規模の他のモデルを上回り、2) EXAONE Deep 7.8Bは同規模のオープンウェイトモデルだけでなく、独自の推論モデルであるOpenAI o1-miniをも上回り、3) EXAONE Deep 32Bは主要なオープンウェイトモデルと競合する性能を発揮することがわかりました。

詳細については、ドキュメント、ブログ、およびGitHubを参照してください。

このリポジトリには、以下の特徴を持つ24億パラメータの推論言語モデルが含まれています。

⚠️ 重要提示

EXAONE Deepモデルは最適化された構成で学習されているため、最適な性能を得るためには使用ガイドラインのセクションに従うことをお勧めします。

評価

以下の表は、数学やコーディングなどの推論タスクの評価結果を示しています。完全な評価結果はドキュメントで確認できます。

デプロイメント

EXAONE Deepモデルは、以下のような様々なフレームワークで推論を行うことができます。

• TensorRT-LLM
• vLLM
• SGLang
• llama.cpp
• Ollama
• LM-Studio

推論フレームワークの詳細については、EXAONE DeepのGitHubを参照してください。

量子化

AWQによる事前量子化されたEXAONE Deepモデルと、GGUF形式のいくつかの量子化タイプを提供しています。対応する量子化モデルを見つけるには、EXAONE Deepのコレクションを参照してください。

使用ガイドライン

期待される性能を得るために、以下の構成を使用することをお勧めします。

1. 推論ステップでは、モデルが <thought> で始まるようにしてください。これを省略すると、モデルの出力品質が低下する可能性があります。tokenizer.apply_chat_template() を add_generation_prompt=True で使用することで、この機能を簡単に適用できます。クイックスタートセクションのサンプルコードを確認してください。
2. EXAONE Deepモデルの推論ステップは <thought> ... </thought> で囲まれており、通常は多くのトークンを含むため、マルチターンの状況では、以前の推論ステップを削除する必要がある場合があります。提供されているトークナイザーはこれを自動的に処理します。
3. システムプロンプトを使用せず、ユーザープロンプトに指示を組み込んでください。
4. 追加の指示は、モデルがより深く推論するのに役立ち、より良い出力を生成するようになります。
   • 数学の問題の場合、「Please reason step by step, and put your final answer within \boxed{}.」という指示が役立ちます。
   • プロンプトを含む評価設定の詳細については、ドキュメントを参照してください。
5. 評価では、生成に temperature=0.6 と top_p=0.95 を使用しています。
6. モデルを評価する際には、期待される性能を正確に評価するために、複数回のテストを行うことをお勧めします。

制限事項

EXAONE言語モデルには一定の制限があり、時折不適切な応答を生成することがあります。言語モデルはトークンの出力確率に基づいて応答を生成し、これは学習データからの学習中に決定されます。学習データから個人情報、有害な情報、偏見のある情報を除外するよう努めましたが、一部の問題のあるコンテンツが含まれている可能性があり、望ましくない応答が生成されることがあります。EXAONE言語モデルによって生成されたテキストは、LG AI Researchの見解を反映するものではないことに注意してください。

• 個人情報、有害な情報、その他の不適切な情報を含む不適切な回答が生成される場合があります。
• 年齢、性別、人種などに関連する偏見のある応答が生成される場合があります。
• 生成された応答は学習データの統計に大きく依存するため、意味的または構文的に誤った文が生成されることがあります。
• モデルは最新の情報を反映していないため、応答が誤っていたり矛盾していたりすることがあります。

LG AI Researchは、EXAONE言語モデルに起因する潜在的なリスクを減らすよう努めています。ユーザーは、EXAONE言語モデルを使用する際に、LG AIの倫理原則に違反する不適切な出力を誘発するような悪意のある活動（例：違法情報の入力）を行わないでください。

📄 ライセンス

このモデルは、EXAONE AIモデルライセンス契約1.1 - NCの下でライセンスされています。

引用

@article{exaone-deep,
  title={EXAONE Deep: Reasoning Enhanced Language Models},
  author={{LG AI Research}},
  journal={arXiv preprint arXiv:2503.12524},
  year={2025}
}

お問い合わせ

LG AI Researchの技術サポート: contact_us@lgresearch.ai