EXAONE Deep 2.4B AWQ

🚀 EXAONE-Deep-2.4B-AWQ

LG AI Researchが開発・リリースした、様々な推論タスクで優れた性能を発揮する言語モデルです。2.4Bから32Bのパラメータ規模で提供され、数学やコーディングのベンチマークで高い性能を示します。

🚀 クイックスタート

このモデルを使用するには、transformers>=4.43.1 と autoawq>=0.2.8 を使用することをおすすめします。

基本的な使用法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, TextIteratorStreamer
from threading import Thread

model_name = "LGAI-EXAONE/EXAONE-Deep-2.4B-AWQ"
streaming = True    # choose the streaming option

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    trust_remote_code=True,
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

# Choose your prompt:
#   Math example (AIME 2024)
prompt = r"""Let $x,y$ and $z$ be positive real numbers that satisfy the following system of equations:
\[\log_2\left({x \over yz}\right) = {1 \over 2}\]\[\log_2\left({y \over xz}\right) = {1 \over 3}\]\[\log_2\left({z \over xy}\right) = {1 \over 4}\]
Then the value of $\left|\log_2(x^4y^3z^2)\right|$ is $\tfrac{m}{n}$ where $m$ and $n$ are relatively prime positive integers. Find $m+n$.

Please reason step by step, and put your final answer within \boxed{}."""
#   Korean MCQA example (CSAT Math 2025)
prompt = r"""Question : $a_1 = 2$인 수열 $\{a_n\}$과 $b_1 = 2$인 등차수열 $\{b_n\}$이 모든 자연수 $n$에 대하여\[\sum_{k=1}^{n} \frac{a_k}{b_{k+1}} = \frac{1}{2} n^2\]을 만족시킬 때, $\sum_{k=1}^{5} a_k$의 값을 구하여라.

Options :
A) 120
B) 125
C) 130
D) 135
E) 140
 
Please reason step by step, and you should write the correct option alphabet (A, B, C, D or E) within \\boxed{}."""

messages = [
    {"role": "user", "content": prompt}
]
input_ids = tokenizer.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    return_tensors="pt"
)

if streaming:
    streamer = TextIteratorStreamer(tokenizer)
    thread = Thread(target=model.generate, kwargs=dict(
        input_ids=input_ids.to("cuda"),
        eos_token_id=tokenizer.eos_token_id,
        max_new_tokens=32768,
        do_sample=True,
        temperature=0.6,
        top_p=0.95,
        streamer=streamer
    ))
    thread.start()

    for text in streamer:
        print(text, end="", flush=True)
else:
    output = model.generate(
        input_ids.to("cuda"),
        eos_token_id=tokenizer.eos_token_id,
        max_new_tokens=32768,
        do_sample=True,
        temperature=0.6,
        top_p=0.95,
    )
    print(tokenizer.decode(output[0]))

⚠️ 重要提示

EXAONE Deepモデルは最適化された設定で学習されています。そのため、最適な性能を得るには使用ガイドラインのセクションに従うことをおすすめします。

✨ 主な機能

LG AI Researchによって開発・リリースされたEXAONE Deepは、数学やコーディングのベンチマークを含む様々な推論タスクで優れた能力を発揮します。評価結果によると、以下のような性能が確認されています。

1. EXAONE Deep 2.4B は、同規模の他のモデルを上回っています。
2. EXAONE Deep 7.8B は、同規模のオープンウェイトモデルだけでなく、独自の推論モデルであるOpenAI o1-miniも上回っています。
3. EXAONE Deep 32B は、主要なオープンウェイトモデルと競争力のある性能を示しています。

詳細については、ドキュメント、ブログ、およびGitHubを参照してください。

📦 インストール

このリポジトリには、推論用の2.4B言語モデルのAWQ量子化重みが含まれており、以下の特徴があります。

📚 ドキュメント

評価

元のEXAONE Deepモデルの評価結果は、GitHubまたはドキュメントで確認できます。

デプロイメント

EXAONE Deepモデルは、以下のような様々なフレームワークで推論することができます。

• TensorRT-LLM
• vLLM
• SGLang
• llama.cpp
• Ollama
• LM-Studio

推論フレームワークの詳細については、EXAONE Deep GitHubを参照してください。

量子化

AWQによる事前量子化されたEXAONE Deepモデルと、GGUF形式のいくつかの量子化タイプを提供しています。対応する量子化モデルを見つけるには、EXAONE Deepコレクションを参照してください。

使用ガイドライン

期待される性能を得るために、以下の設定を使用することをおすすめします。

1. 推論ステップは <thought>\n で始まるようにしてください。これを省略すると、モデルの出力品質が低下する可能性があります。tokenizer.apply_chat_template() を add_generation_prompt=True で使用することで、この機能を簡単に適用できます。詳細はクイックスタートセクションのサンプルコードを参照してください。
2. EXAONE Deepモデルの推論ステップは <thought>\n...\n</thought> で囲まれており、多くのトークンを含むことがあります。そのため、マルチターンの状況では、以前の推論ステップを削除する必要がある場合があります。提供されているトークナイザーはこれを自動的に処理します。
3. システムプロンプトの使用は避け、ユーザープロンプトに指示を組み込んでください。
4. 追加の指示は、モデルがより深く推論するのに役立ち、より良い出力を生成することができます。
   • 数学の問題の場合、「Please reason step by step, and put your final answer within \boxed{}」という指示が役立ちます。
   • プロンプトを含む評価設定の詳細については、ドキュメントを参照してください。
5. 評価では、生成に temperature=0.6 と top_p=0.95 を使用しています。
6. モデルを評価する際には、期待される性能を正確に評価するために、複数回のテストを行うことをおすすめします。

🔧 技術詳細

このモデルの技術的な詳細については、ドキュメントを参照してください。

📄 ライセンス

このモデルは、EXAONE AI Model License Agreement 1.1 - NCの下でライセンスされています。

引用

@article{exaone-deep,
  title={EXAONE Deep: Reasoning Enhanced Language Models},
  author={{LG AI Research}},
  journal={arXiv preprint arXiv:2503.12524},
  year={2025}
}

お問い合わせ

LG AI Researchの技術サポート: contact_us@lgresearch.ai