EXAONE 4.0 32B GGUF

🚀 EXAONE-4.0-32B-GGUF

EXAONE 4.0は、非推論モードと推論モードを統合し、EXAONE 3.5の優れた使いやすさとEXAONE Deepの高度な推論能力を兼ね備えています。エージェント型AIの時代に備え、エージェント型ツールの使用などの重要な機能を組み込み、多言語対応能力も拡張され、英語と韓国語に加えてスペイン語もサポートしています。

EXAONE 4.0モデルシリーズは、高性能に最適化された中規模の32Bモデルと、デバイス上でのアプリケーション向けに設計された小規模の1.2Bモデルの2種類のサイズで構成されています。

🎉 ライセンスが更新されました！より柔軟なライセンス条項を発表できることを嬉しく思います 🤗
✈️ [FriendliAI](https://friendli.ai/suite/~/serverless-endpoints/LGAI-EXAONE/EXAONE-4.0-32B/overview)で試してみてください

🚀 クイックスタート

llama.cpp

以下の手順に従って、llama.cppを使用してEXAONEモデルをローカルで実行できます。

1. llama.cppの最新バージョンをインストールします。PRをクローンしてソースからビルドします。ソースからのビルドに関する公式ドキュメントを参照してください。

git clone --single-branch -b add-exaone4 https://github.com/lgai-exaone/llama.cpp.git

2. GGUF形式のEXAONE 4.0モデルの重みをダウンロードします。

huggingface-cli download LGAI-EXAONE/EXAONE-4.0-32B-GGUF-GGUF \
    --include "EXAONE-4.0-32B-GGUF-Q4_K_M.gguf" \
    --local-dir .

GGUFモデルが複数のファイルに分割されている場合は、モデルを実行する前にそれらを1つのファイルにマージする必要があります。

1. まず、GGUFモデルの重みをダウンロードします。

huggingface-cli download LGAI-EXAONE/EXAONE-4.0-32B-GGUF \
    --include "EXAONE-4.0-32B-BF16*.gguf" \
    --local-dir .

2. 分割されたファイルを1つのファイルにマージします。

llama-gguf-split --merge \
    ./EXAONE-4.0-32B-BF16-00001-of-00002.gguf \
    ./EXAONE-4.0-32B-BF16.gguf

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "LGAI-EXAONE/EXAONE-4.0-32B-GGUF"
tokenizer = AutoTokenizer.from_pretrained(model_name)

messages = [
    {"role": "user", "content": "Let's work together on local system!"}
]
input_text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
)

print(repr(input_text))
with open("inputs.txt", "w") as f:
    f.write(input_text)

llama-cli -m EXAONE-4.0-32B-GGUF-Q4_K_M.gguf \
    -fa -ngl 64 \
    --temp 0.0 --top-k 1 \
    -f inputs.txt -no-cnv

llama-server -m EXAONE-4.0-32B-Q4_K_M.gguf \
    -c 131072 -fa -ngl 64 \
    --temp 0.6 --top-p 0.95 \
    --jinja --chat-template-format chat_template_simple.jinja \
    --host 0.0.0.0 --port 8820 \
    -a EXAONE-4.0-32B-Q4_K_M

curl -X POST http://localhost:8820/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "EXAONE-4.0-32B-Q4_K_M",
        "messages": [
            {"role": "user", "content": "Let'\''s work together on server!"}
        ],
        "max_tokens": 1024,
        "temperature": 0.6,
        "top_p": 0.95
    }'

✨ 主な機能

アーキテクチャの変更

EXAONE 4.0アーキテクチャでは、以前のEXAONEモデルと比較して以下の新しいアーキテクチャ変更を適用しています。

1. ハイブリッドアテンション：32Bモデルには、ローカルアテンション（スライディングウィンドウアテンション） とグローバルアテンション（フルアテンション） を3:1の比率で組み合わせたハイブリッドアテンション方式を採用しています。グローバルアテンションにはRoPE（Rotary Positional Embedding）を使用せず、より良いグローバルコンテキスト理解を実現しています。
2. QK-Reorder-Norm：トランスフォーマーブロックにはPre-LNではなくPost-LN（LayerNorm）方式を採用し、QとKの射影の直後にRMS正規化を追加しています。これにより、より多くの計算を消費するものの、下流のタスクでより良いパフォーマンスを得ることができます。

詳細については、技術レポート、ブログ、およびGitHubを参照してください。

モデル構成

📚 ドキュメント

性能評価

以下の表は、各モデルの推論モードと非推論モードの評価結果を示しています。評価の詳細は技術レポートに記載されています。

• ✅は、モデルが目的に応じて推論/非推論を選択することで評価されたハイブリッド推論能力を持っていることを示します。
• 韓国語の実用的および専門的な知識を評価するために、KMMLU-ReduxとKMMLU-Proの両方のベンチマークを採用しています。両方のデータセットは公開されています！
• 評価結果は、量子化されていない元のモデルに基づいています。

32B推論モード

32B非推論モード

📄 ライセンス

このプロジェクトは、exaoneライセンスの下で公開されています。