EXAONE 4.0 1.2B

🚀 EXAONE-4.0-1.2B

EXAONE 4.0 を紹介します。このモデルは、非推論モード と 推論モード を統合しており、EXAONE 3.5 の優れた使いやすさと EXAONE Deep の高度な推論能力の両方を実現しています。エージェンティックAIの時代に備えて、EXAONE 4.0 はエージェントツールの使用などの重要な機能を組み込んでおり、多言語対応能力も拡張され、英語と韓国語に加えてスペイン語もサポートしています。

EXAONE 4.0 モデルシリーズは、高性能に最適化された中規模の 32B モデルと、デバイス上でのアプリケーション向けに設計された小規模の 1.2B モデルの2種類のサイズで構成されています。

EXAONE 4.0 アーキテクチャでは、以前のEXAONEモデルと比較して、以下の新しいアーキテクチャの変更を適用しています。

1. ハイブリッドアテンション：32Bモデルには、ローカルアテンション（スライディングウィンドウアテンション） と グローバルアテンション（フルアテンション） を3:1の比率で組み合わせたハイブリッドアテンション方式を採用しています。グローバルアテンションにはRoPE（回転位置埋め込み）を使用せず、より良いグローバルコンテキスト理解を実現しています。
2. QK-Reorder-Norm：トランスフォーマーブロックにはPre-LNではなくPost-LN（レイヤー正規化）方式を採用し、QとKの投影の直後にRMS正規化を追加しています。これにより、より多くの計算を消費するものの、下流のタスクでより良いパフォーマンスをもたらすことができます。

詳細については、技術レポート、ブログ、および GitHub を参照してください。

🎉 ライセンス更新！より柔軟なライセンス条項を発表できることを嬉しく思います 🤗
✈️ FriendliAI で試す

🚀 クイックスタート

オリジナルからフォークされた transformers ライブラリをインストールする必要があります。これは、私たちの PR で入手できます。このPRがマージされてリリースされたら、このセクションを更新します。

以下のコマンドを実行することで、EXAONE 4.0 をサポートする最新バージョンの transformers をインストールできます。

pip install git+https://github.com/lgai-exaone/transformers@add-exaone4

非推論モード

一般的な使用には、以下の例のように EXAONE 4.0 モデルを使用できます。

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "LGAI-EXAONE/EXAONE-4.0-1.2B"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="bfloat16",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

# あなたのプロンプトを選択
prompt = "Explain how wonderful you are"
prompt = "Explica lo increíble que eres"
prompt = "너가 얼마나 대단한지 설명해 봐"

messages = [
    {"role": "user", "content": prompt}
]
input_ids = tokenizer.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    return_tensors="pt"
)

output = model.generate(
    input_ids.to(model.device),
    max_new_tokens=128,
    do_sample=False,
)
print(tokenizer.decode(output[0]))

推論モード

EXAONE 4.0 モデルは、複雑な問題を処理するための推論能力を備えています。トークナイザーに enable_thinking=True 引数を使用することで、推論モードを有効にすることができます。これにより、<think> タグで始まる推論ブロックが開かれます。

messages = [
    {"role": "user", "content": "Which one is bigger, 3.12 vs 3.9?"}
]
input_ids = tokenizer.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    return_tensors="pt",
    enable_thinking=True,
)

output = model.generate(
    input_ids.to(model.device),
    max_new_tokens=128,
    do_sample=True,
    temperature=0.6,
    top_p=0.95
)
print(tokenizer.decode(output[0]))

⚠️ 重要な注意

推論モードでのモデル生成は、サンプリングパラメータに敏感に影響を受ける可能性があります。より良い品質を得るためには、使用ガイドライン を参照してください。

エージェントツールの使用

EXAONE 4.0 モデルは、ツール呼び出し機能を備えたエージェントとして使用できます。効果的なツール呼び出しのために、モデルにツールスキーマを提供することができます。

import random

def roll_dice(max_num: int):
    return random.randint(1, max_num)

tools = [
    {
        "type": "function",
        "function": {
            "name": "roll_dice",
            "description": "Roll a dice with the number 1 to N. User can select the number N.",
            "parameters": {
                "type": "object",
                "required": ["max_num"],
                "properties": {
                    "max_num": {
                        "type": "int",
                        "description": "Max number of the dice"
                    }
                }
            }
        }
    }
]

messages = [
    {"role": "user", "content": "Roll D6 dice twice!"}
]
input_ids = tokenizer.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    return_tensors="pt",
    tools=tools,
)

output = model.generate(
    input_ids.to(model.device),
    max_new_tokens=1024,
    do_sample=True,
    temperature=0.6,
    top_p=0.95,
)
print(tokenizer.decode(output[0]))

✨ 主な機能

• 非推論モードと推論モードの統合：EXAONE 3.5 の使いやすさと EXAONE Deep の推論能力を兼ね備えます。
• 多言語対応：英語、韓国語、スペイン語をサポートします。
• エージェントツールの使用：ツール呼び出し機能を備えています。
• 新しいアーキテクチャ：ハイブリッドアテンションと QK-Reorder-Norm を採用しています。

📦 インストール

pip install git+https://github.com/lgai-exaone/transformers@add-exaone4

💻 使用例

基本的な使用法

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "LGAI-EXAONE/EXAONE-4.0-1.2B"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="bfloat16",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

# あなたのプロンプトを選択
prompt = "Explain how wonderful you are"
prompt = "Explica lo increíble que eres"
prompt = "너가 얼마나 대단한지 설명해 봐"

messages = [
    {"role": "user", "content": prompt}
]
input_ids = tokenizer.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    return_tensors="pt"
)

output = model.generate(
    input_ids.to(model.device),
    max_new_tokens=128,
    do_sample=False,
)
print(tokenizer.decode(output[0]))

高度な使用法

messages = [
    {"role": "user", "content": "Which one is bigger, 3.12 vs 3.9?"}
]
input_ids = tokenizer.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    return_tensors="pt",
    enable_thinking=True,
)

output = model.generate(
    input_ids.to(model.device),
    max_new_tokens=128,
    do_sample=True,
    temperature=0.6,
    top_p=0.95
)
print(tokenizer.decode(output[0]))

🔧 技術詳細

モデル構成

アーキテクチャの変更

1. ハイブリッドアテンション：32Bモデルには、ローカルアテンション（スライディングウィンドウアテンション） と グローバルアテンション（フルアテンション） を3:1の比率で組み合わせたハイブリッドアテンション方式を採用しています。グローバルアテンションにはRoPE（回転位置埋め込み）を使用せず、より良いグローバルコンテキスト理解を実現しています。
2. QK-Reorder-Norm：トランスフォーマーブロックにはPre-LNではなくPost-LN（レイヤー正規化）方式を採用し、QとKの投影の直後にRMS正規化を追加しています。これにより、より多くの計算を消費するものの、下流のタスクでより良いパフォーマンスをもたらすことができます。

📚 ドキュメント

詳細については、技術レポート、ブログ、および GitHub を参照してください。

📄 ライセンス

このプロジェクトは exaone ライセンスの下で提供されています。

デプロイメント

TensorRT-LLM

TensorRT-LLM は最新のコミットで EXAONE 4.0 モデルを公式にサポートしています。リリースされる前に、TensorRT-LLM リポジトリをクローンしてソースからビルドする必要があります。

git clone https://github.com/NVIDIA/TensorRT-LLM.git

リポジトリをクローンした後、インストールのためにソースをビルドする必要があります。TensorRT-LLM 環境をビルドするガイドについては、公式ドキュメント を参照してください。

以下の手順で TensorRT-LLM サーバーを実行できます。

1. 追加の設定 YAML ファイルを作成します。

# extra_llm_api_config.yaml
kv_cache_config:
  enable_block_reuse: false

2. 設定を使用してサーバーを実行します。

trtllm-serve serve [MODEL_PATH] --backend pytorch --extra_llm_api_options extra_llm_api_config.yaml

詳細については、TensorRT-LLM の EXAONE のドキュメント を参照してください。

⚠️ 重要な注意

vllm や sglang などの他の推論エンジンは、現時点では EXAONE 4.0 を公式にサポートしていません。これらのライブラリが更新されたら、すぐに更新します。

パフォーマンス

以下の表は、各モデルの推論モードと非推論モードでの評価結果を示しています。評価の詳細は 技術レポート を参照してください。

• ✅ は、モデルがハイブリッド推論能力を持っていることを示しており、目的に応じて推論/非推論を選択して評価されています。
• 韓国語の 実用的 および 専門的 な知識を評価するために、KMMLU-Redux と KMMLU-Pro の両方のベンチマークを採用しています。両方のデータセットは公開されています！

32B 推論モード

32B 非推論モード