EXAONE 4.0 32B GGUF

🚀 EXAONE-4.0-32B-GGUF

EXAONE 4.0 模型集成了非推理模式和推理模式，兼具 EXAONE 3.5 的出色可用性与 EXAONE Deep 的高级推理能力。该模型系列有 32B 和 1.2B 两种规格，支持英、韩、西三种语言，为智能应用提供更强大的支持。

🎉 许可证更新！我们很高兴宣布更灵活的许可条款 🤗
✈️ 立即在 FriendliAI 上试用

🚀 快速开始

llama.cpp

你可以按照以下步骤，使用 llama.cpp 在本地运行 EXAONE 模型：

1. 通过克隆我们的 PR 并从源代码构建，安装最新版本的 llama.cpp。请参考官方文档 从源代码构建。

git clone --single-branch -b add-exaone4 https://github.com/lgai-exaone/llama.cpp.git

2. 下载 GGUF 格式的 EXAONE 4.0 模型权重。

huggingface-cli download LGAI-EXAONE/EXAONE-4.0-32B-GGUF-GGUF \
    --include "EXAONE-4.0-32B-GGUF-Q4_K_M.gguf" \
    --local-dir .

当你使用拆分为多个文件的 GGUF 模型时，在运行模型之前，应将它们合并为一个文件。 1. 首先，下载 GGUF 模型权重。

huggingface-cli download LGAI-EXAONE/EXAONE-4.0-32B-GGUF \
    --include "EXAONE-4.0-32B-BF16*.gguf" \
    --local-dir .

2. 将拆分的文件合并为一个文件。

llama-gguf-split --merge \
    ./EXAONE-4.0-32B-BF16-00001-of-00002.gguf \
    ./EXAONE-4.0-32B-BF16.gguf

4. 使用贪心解码生成结果。
```bash
llama-cli -m EXAONE-4.0-32B-GGUF-Q4_K_M.gguf \
    -fa -ngl 64 \
    --temp 0.0 --top-k 1 \
    -f inputs.txt -no-cnv

✨ 主要特性

我们推出的 EXAONE 4.0 集成了 非推理模式 和 推理模式，既具备 EXAONE 3.5 的出色可用性，又拥有 EXAONE Deep 的高级推理能力。为了开启智能体 AI 时代，EXAONE 4.0 融入了智能体工具使用等重要特性，并且其多语言能力得到扩展，除英语和韩语外，还支持西班牙语。

EXAONE 4.0 模型系列包含两种规格：为高性能优化的中型 32B 模型，以及专为设备端应用设计的小型 1.2B 模型。

在 EXAONE 4.0 架构中，与之前的 EXAONE 模型相比，我们进行了以下新的架构更改：

1. 混合注意力机制：对于 32B 模型，我们采用混合注意力方案，将 局部注意力（滑动窗口注意力） 与 全局注意力（全注意力） 以 3:1 的比例结合。为了更好地理解全局上下文，我们在全局注意力中不使用 RoPE（旋转位置嵌入）。
2. QK 重排序归一化：我们在 Transformer 块中采用后层归一化（Post-LN）方案，而非前层归一化（Pre-LN），并在 Q 和 K 投影之后添加 RMS 归一化。尽管这会消耗更多计算资源，但有助于在下游任务中获得更好的性能。

更多详细信息，请参考我们的 技术报告、博客 和 GitHub。

模型配置

📚 详细文档

32B 推理模式

32B 非推理模式

🔧 技术细节

在 EXAONE 4.0 架构中，与之前的 EXAONE 模型相比，我们进行了以下新的架构更改：

1. 混合注意力机制：对于 32B 模型，我们采用混合注意力方案，将 局部注意力（滑动窗口注意力） 与 全局注意力（全注意力） 以 3:1 的比例结合。为了更好地理解全局上下文，我们在全局注意力中不使用 RoPE（旋转位置嵌入）。
2. QK 重排序归一化：我们在 Transformer 块中采用后层归一化（Post-LN）方案，而非前层归一化（Pre-LN），并在 Q 和 K 投影之后添加 RMS 归一化。尽管这会消耗更多计算资源，但有助于在下游任务中获得更好的性能。

更多详细信息，请参考我们的 技术报告、博客 和 GitHub。

📄 许可证

• 许可证类型：其他
• 许可证名称：exaone
• 许可证链接：LICENSE