EXAONE Deep 2.4B AWQ

🚀 EXAONE-Deep-2.4B-AWQ

EXAONE Deep是由LG AI Research開發併發布的一系列語言模型，參數範圍從2.4B到32B。它在數學和編碼等各種推理任務中表現出色。評估結果顯示，2.4B版本在同規模模型中表現優異，7.8B版本不僅優於同規模的開源模型，還超過了專有推理模型OpenAI o1 - mini，32B版本與領先的開源模型相比也具有競爭力。

🚀 快速開始

我們建議使用transformers>=4.43.1和autoawq>=0.2.8。以下是使用該模型進行對話推理的代碼片段：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, TextIteratorStreamer
from threading import Thread

model_name = "LGAI-EXAONE/EXAONE-Deep-2.4B-AWQ"
streaming = True    # choose the streaming option

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    trust_remote_code=True,
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

# Choose your prompt:
#   Math example (AIME 2024)
prompt = r"""Let $x,y$ and $z$ be positive real numbers that satisfy the following system of equations:
\[\log_2\left({x \over yz}\right) = {1 \over 2}\]\[\log_2\left({y \over xz}\right) = {1 \over 3}\]\[\log_2\left({z \over xy}\right) = {1 \over 4}\]
Then the value of $\left|\log_2(x^4y^3z^2)\right|$ is $\tfrac{m}{n}$ where $m$ and $n$ are relatively prime positive integers. Find $m+n$.

Please reason step by step, and put your final answer within \boxed{}."""
#   Korean MCQA example (CSAT Math 2025)
prompt = r"""Question : $a_1 = 2$인 수열 $\{a_n\}$과 $b_1 = 2$인 등차수열 $\{b_n\}$이 모든 자연수 $n$에 대하여\[\sum_{k=1}^{n} \frac{a_k}{b_{k+1}} = \frac{1}{2} n^2\]을 만족시킬 때, $\sum_{k=1}^{5} a_k$의 값을 구하여라.

Options :
A) 120
B) 125
C) 130
D) 135
E) 140
 
Please reason step by step, and you should write the correct option alphabet (A, B, C, D or E) within \\boxed{}."""

messages = [
    {"role": "user", "content": prompt}
]
input_ids = tokenizer.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    return_tensors="pt"
)

if streaming:
    streamer = TextIteratorStreamer(tokenizer)
    thread = Thread(target=model.generate, kwargs=dict(
        input_ids=input_ids.to("cuda"),
        eos_token_id=tokenizer.eos_token_id,
        max_new_tokens=32768,
        do_sample=True,
        temperature=0.6,
        top_p=0.95,
        streamer=streamer
    ))
    thread.start()

    for text in streamer:
        print(text, end="", flush=True)
else:
    output = model.generate(
        input_ids.to("cuda"),
        eos_token_id=tokenizer.eos_token_id,
        max_new_tokens=32768,
        do_sample=True,
        temperature=0.6,
        top_p=0.95,
    )
    print(tokenizer.decode(output[0]))

⚠️ 重要提示

EXAONE Deep模型經過優化配置訓練，因此建議遵循使用指南部分以實現最佳性能。

✨ 主要特性

• 卓越推理能力：在數學和編碼等各種推理任務中表現出色，不同參數規模的模型在同級別中具有競爭力。
• 多語言支持：支持英語和韓語。
• 多種量化格式：提供預量化的模型，包括AWQ和GGUF格式。

📦 安裝指南

文檔未提及具體安裝步驟，可參考快速開始部分使用相關庫。

💻 使用示例

基礎用法

# 上述快速開始部分的代碼即為基礎使用示例

📚 詳細文檔

更多詳細信息，請參考我們的文檔、博客和GitHub。

🔧 技術細節

本倉庫包含推理2.4B語言模型的AWQ量化權重，具體特性如下：

📄 許可證

該模型遵循EXAONE AI模型許可協議1.1 - 非商業版。

📚 引用

@article{exaone-deep,
  title={EXAONE Deep: Reasoning Enhanced Language Models},
  author={{LG AI Research}},
  journal={arXiv preprint arXiv:2503.12524},
  year={2025}
}

📞 聯繫我們

LG AI研究技術支持：contact_us@lgresearch.ai

⚠️ 模型侷限性

EXAONE語言模型存在一定侷限性，可能偶爾生成不適當的響應。該語言模型基於標記的輸出概率生成響應，這是在從訓練數據中學習時確定的。儘管我們已盡力從訓練數據中排除個人、有害和有偏見的信息，但仍可能包含一些有問題的內容，從而可能導致不良響應。請注意，EXAONE語言模型生成的文本並不反映LG AI研究的觀點。

• 可能生成包含個人、有害或其他不適當信息的不適當答案。
• 可能生成與年齡、性別、種族等相關的有偏見的響應。
• 生成的響應嚴重依賴訓練數據的統計信息，可能導致生成語義或語法錯誤的句子。
• 由於模型不反映最新信息，響應可能是錯誤或矛盾的。

LG AI研究致力於降低EXAONE語言模型可能帶來的潛在風險。用戶在使用EXAONE語言模型時，不得進行任何可能誘導生成違反LG AI道德原則的不適當輸出的惡意活動（例如輸入非法信息）。

💡 使用建議

為實現預期性能，建議使用以下配置：

1. 確保模型推理步驟以<thought>\n開頭。省略此內容可能會降低模型的輸出質量。可以通過tokenizer.apply_chat_template()並設置add_generation_prompt=True輕鬆應用此功能。請查看快速開始部分的示例代碼。
2. EXAONE Deep模型的推理步驟通常包含在<thought>\n...\n</thought>中，且包含大量標記，因此在多輪對話中可能需要刪除之前的推理步驟。提供的分詞器會自動處理此問題。
3. 避免使用系統提示，在用戶提示中構建指令。
4. 額外的指令有助於模型進行更深入的推理，從而生成更好的輸出。
   • 對於數學問題，指令**"請逐步推理，並將最終答案放在\boxed{}中。"** 很有幫助。
   • 有關包括提示在內的評估設置的更多信息，請參考我們的文檔。
5. 在評估中，我們使用temperature=0.6和top_p=0.95進行生成。
6. 評估模型時，建議多次測試以準確評估預期性能。