EXAONE 4.0 32B GGUF

🚀 EXAONE-4.0-32B-GGUF

EXAONE 4.0 模型集成了非推理模式和推理模式，兼具 EXAONE 3.5 的出色可用性與 EXAONE Deep 的高級推理能力。該模型系列有 32B 和 1.2B 兩種規格，支持英、韓、西三種語言，為智能應用提供更強大的支持。

🎉 許可證更新！我們很高興宣佈更靈活的許可條款 🤗
✈️ 立即在 FriendliAI 上試用

🚀 快速開始

llama.cpp

你可以按照以下步驟，使用 llama.cpp 在本地運行 EXAONE 模型：

1. 通過克隆我們的 PR 並從源代碼構建，安裝最新版本的 llama.cpp。請參考官方文檔 從源代碼構建。

git clone --single-branch -b add-exaone4 https://github.com/lgai-exaone/llama.cpp.git

2. 下載 GGUF 格式的 EXAONE 4.0 模型權重。

huggingface-cli download LGAI-EXAONE/EXAONE-4.0-32B-GGUF-GGUF \
    --include "EXAONE-4.0-32B-GGUF-Q4_K_M.gguf" \
    --local-dir .

當你使用拆分為多個文件的 GGUF 模型時，在運行模型之前，應將它們合併為一個文件。 1. 首先，下載 GGUF 模型權重。

huggingface-cli download LGAI-EXAONE/EXAONE-4.0-32B-GGUF \
    --include "EXAONE-4.0-32B-BF16*.gguf" \
    --local-dir .

2. 將拆分的文件合併為一個文件。

llama-gguf-split --merge \
    ./EXAONE-4.0-32B-BF16-00001-of-00002.gguf \
    ./EXAONE-4.0-32B-BF16.gguf

4. 使用貪心解碼生成結果。
```bash
llama-cli -m EXAONE-4.0-32B-GGUF-Q4_K_M.gguf \
    -fa -ngl 64 \
    --temp 0.0 --top-k 1 \
    -f inputs.txt -no-cnv

✨ 主要特性

我們推出的 EXAONE 4.0 集成了 非推理模式 和 推理模式，既具備 EXAONE 3.5 的出色可用性，又擁有 EXAONE Deep 的高級推理能力。為了開啟智能體 AI 時代，EXAONE 4.0 融入了智能體工具使用等重要特性，並且其多語言能力得到擴展，除英語和韓語外，還支持西班牙語。

EXAONE 4.0 模型系列包含兩種規格：為高性能優化的中型 32B 模型，以及專為設備端應用設計的小型 1.2B 模型。

在 EXAONE 4.0 架構中，與之前的 EXAONE 模型相比，我們進行了以下新的架構更改：

1. 混合注意力機制：對於 32B 模型，我們採用混合注意力方案，將 局部注意力（滑動窗口注意力） 與 全局注意力（全注意力） 以 3:1 的比例結合。為了更好地理解全局上下文，我們在全局注意力中不使用 RoPE（旋轉位置嵌入）。
2. QK 重排序歸一化：我們在 Transformer 塊中採用後層歸一化（Post-LN）方案，而非前層歸一化（Pre-LN），並在 Q 和 K 投影之後添加 RMS 歸一化。儘管這會消耗更多計算資源，但有助於在下游任務中獲得更好的性能。

更多詳細信息，請參考我們的 技術報告、博客 和 GitHub。

模型配置

📚 詳細文檔

32B 推理模式

32B 非推理模式

🔧 技術細節

在 EXAONE 4.0 架構中，與之前的 EXAONE 模型相比，我們進行了以下新的架構更改：

1. 混合注意力機制：對於 32B 模型，我們採用混合注意力方案，將 局部注意力（滑動窗口注意力） 與 全局注意力（全注意力） 以 3:1 的比例結合。為了更好地理解全局上下文，我們在全局注意力中不使用 RoPE（旋轉位置嵌入）。
2. QK 重排序歸一化：我們在 Transformer 塊中採用後層歸一化（Post-LN）方案，而非前層歸一化（Pre-LN），並在 Q 和 K 投影之後添加 RMS 歸一化。儘管這會消耗更多計算資源，但有助於在下游任務中獲得更好的性能。

更多詳細信息，請參考我們的 技術報告、博客 和 GitHub。

📄 許可證

• 許可證類型：其他
• 許可證名稱：exaone
• 許可證鏈接：LICENSE