EXAONE Deep 2.4B AWQ

🚀 EXAONE-Deep-2.4B-AWQ

EXAONE Deep是由LG AI Research开发并发布的一系列语言模型，参数范围从2.4B到32B。它在数学和编码等各种推理任务中表现出色。评估结果显示，2.4B版本在同规模模型中表现优异，7.8B版本不仅优于同规模的开源模型，还超过了专有推理模型OpenAI o1 - mini，32B版本与领先的开源模型相比也具有竞争力。

🚀 快速开始

我们建议使用transformers>=4.43.1和autoawq>=0.2.8。以下是使用该模型进行对话推理的代码片段：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, TextIteratorStreamer
from threading import Thread

model_name = "LGAI-EXAONE/EXAONE-Deep-2.4B-AWQ"
streaming = True    # choose the streaming option

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    trust_remote_code=True,
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

# Choose your prompt:
#   Math example (AIME 2024)
prompt = r"""Let $x,y$ and $z$ be positive real numbers that satisfy the following system of equations:
\[\log_2\left({x \over yz}\right) = {1 \over 2}\]\[\log_2\left({y \over xz}\right) = {1 \over 3}\]\[\log_2\left({z \over xy}\right) = {1 \over 4}\]
Then the value of $\left|\log_2(x^4y^3z^2)\right|$ is $\tfrac{m}{n}$ where $m$ and $n$ are relatively prime positive integers. Find $m+n$.

Please reason step by step, and put your final answer within \boxed{}."""
#   Korean MCQA example (CSAT Math 2025)
prompt = r"""Question : $a_1 = 2$인 수열 $\{a_n\}$과 $b_1 = 2$인 등차수열 $\{b_n\}$이 모든 자연수 $n$에 대하여\[\sum_{k=1}^{n} \frac{a_k}{b_{k+1}} = \frac{1}{2} n^2\]을 만족시킬 때, $\sum_{k=1}^{5} a_k$의 값을 구하여라.

Options :
A) 120
B) 125
C) 130
D) 135
E) 140
 
Please reason step by step, and you should write the correct option alphabet (A, B, C, D or E) within \\boxed{}."""

messages = [
    {"role": "user", "content": prompt}
]
input_ids = tokenizer.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    return_tensors="pt"
)

if streaming:
    streamer = TextIteratorStreamer(tokenizer)
    thread = Thread(target=model.generate, kwargs=dict(
        input_ids=input_ids.to("cuda"),
        eos_token_id=tokenizer.eos_token_id,
        max_new_tokens=32768,
        do_sample=True,
        temperature=0.6,
        top_p=0.95,
        streamer=streamer
    ))
    thread.start()

    for text in streamer:
        print(text, end="", flush=True)
else:
    output = model.generate(
        input_ids.to("cuda"),
        eos_token_id=tokenizer.eos_token_id,
        max_new_tokens=32768,
        do_sample=True,
        temperature=0.6,
        top_p=0.95,
    )
    print(tokenizer.decode(output[0]))

⚠️ 重要提示

EXAONE Deep模型经过优化配置训练，因此建议遵循使用指南部分以实现最佳性能。

✨ 主要特性

• 卓越推理能力：在数学和编码等各种推理任务中表现出色，不同参数规模的模型在同级别中具有竞争力。
• 多语言支持：支持英语和韩语。
• 多种量化格式：提供预量化的模型，包括AWQ和GGUF格式。

📦 安装指南

文档未提及具体安装步骤，可参考快速开始部分使用相关库。

💻 使用示例

基础用法

# 上述快速开始部分的代码即为基础使用示例

📚 详细文档

更多详细信息，请参考我们的文档、博客和GitHub。

🔧 技术细节

本仓库包含推理2.4B语言模型的AWQ量化权重，具体特性如下：

📄 许可证

该模型遵循EXAONE AI模型许可协议1.1 - 非商业版。

📚 引用

@article{exaone-deep,
  title={EXAONE Deep: Reasoning Enhanced Language Models},
  author={{LG AI Research}},
  journal={arXiv preprint arXiv:2503.12524},
  year={2025}
}

📞 联系我们

LG AI研究技术支持：contact_us@lgresearch.ai

⚠️ 模型局限性

EXAONE语言模型存在一定局限性，可能偶尔生成不适当的响应。该语言模型基于标记的输出概率生成响应，这是在从训练数据中学习时确定的。尽管我们已尽力从训练数据中排除个人、有害和有偏见的信息，但仍可能包含一些有问题的内容，从而可能导致不良响应。请注意，EXAONE语言模型生成的文本并不反映LG AI研究的观点。

• 可能生成包含个人、有害或其他不适当信息的不适当答案。
• 可能生成与年龄、性别、种族等相关的有偏见的响应。
• 生成的响应严重依赖训练数据的统计信息，可能导致生成语义或语法错误的句子。
• 由于模型不反映最新信息，响应可能是错误或矛盾的。

LG AI研究致力于降低EXAONE语言模型可能带来的潜在风险。用户在使用EXAONE语言模型时，不得进行任何可能诱导生成违反LG AI道德原则的不适当输出的恶意活动（例如输入非法信息）。

💡 使用建议

为实现预期性能，建议使用以下配置：

1. 确保模型推理步骤以<thought>\n开头。省略此内容可能会降低模型的输出质量。可以通过tokenizer.apply_chat_template()并设置add_generation_prompt=True轻松应用此功能。请查看快速开始部分的示例代码。
2. EXAONE Deep模型的推理步骤通常包含在<thought>\n...\n</thought>中，且包含大量标记，因此在多轮对话中可能需要删除之前的推理步骤。提供的分词器会自动处理此问题。
3. 避免使用系统提示，在用户提示中构建指令。
4. 额外的指令有助于模型进行更深入的推理，从而生成更好的输出。
   • 对于数学问题，指令**"请逐步推理，并将最终答案放在\boxed{}中。"** 很有帮助。
   • 有关包括提示在内的评估设置的更多信息，请参考我们的文档。
5. 在评估中，我们使用temperature=0.6和top_p=0.95进行生成。
6. 评估模型时，建议多次测试以准确评估预期性能。