🚀 EXAONE-Deep-2.4B-AWQ
EXAONE Deep是由LG AI Research开发并发布的一系列语言模型,参数范围从2.4B到32B。它在数学和编码等各种推理任务中表现出色。评估结果显示,2.4B版本在同规模模型中表现优异,7.8B版本不仅优于同规模的开源模型,还超过了专有推理模型OpenAI o1 - mini,32B版本与领先的开源模型相比也具有竞争力。
🚀 快速开始
我们建议使用transformers>=4.43.1
和autoawq>=0.2.8
。以下是使用该模型进行对话推理的代码片段:
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, TextIteratorStreamer
from threading import Thread
model_name = "LGAI-EXAONE/EXAONE-Deep-2.4B-AWQ"
streaming = True
model = AutoModelForCausalLM.from_pretrained(
model_name,
torch_dtype=torch.bfloat16,
trust_remote_code=True,
device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)
prompt = r"""Let $x,y$ and $z$ be positive real numbers that satisfy the following system of equations:
\[\log_2\left({x \over yz}\right) = {1 \over 2}\]\[\log_2\left({y \over xz}\right) = {1 \over 3}\]\[\log_2\left({z \over xy}\right) = {1 \over 4}\]
Then the value of $\left|\log_2(x^4y^3z^2)\right|$ is $\tfrac{m}{n}$ where $m$ and $n$ are relatively prime positive integers. Find $m+n$.
Please reason step by step, and put your final answer within \boxed{}."""
prompt = r"""Question : $a_1 = 2$인 수열 $\{a_n\}$과 $b_1 = 2$인 등차수열 $\{b_n\}$이 모든 자연수 $n$에 대하여\[\sum_{k=1}^{n} \frac{a_k}{b_{k+1}} = \frac{1}{2} n^2\]을 만족시킬 때, $\sum_{k=1}^{5} a_k$의 값을 구하여라.
Options :
A) 120
B) 125
C) 130
D) 135
E) 140
Please reason step by step, and you should write the correct option alphabet (A, B, C, D or E) within \\boxed{}."""
messages = [
{"role": "user", "content": prompt}
]
input_ids = tokenizer.apply_chat_template(
messages,
tokenize=True,
add_generation_prompt=True,
return_tensors="pt"
)
if streaming:
streamer = TextIteratorStreamer(tokenizer)
thread = Thread(target=model.generate, kwargs=dict(
input_ids=input_ids.to("cuda"),
eos_token_id=tokenizer.eos_token_id,
max_new_tokens=32768,
do_sample=True,
temperature=0.6,
top_p=0.95,
streamer=streamer
))
thread.start()
for text in streamer:
print(text, end="", flush=True)
else:
output = model.generate(
input_ids.to("cuda"),
eos_token_id=tokenizer.eos_token_id,
max_new_tokens=32768,
do_sample=True,
temperature=0.6,
top_p=0.95,
)
print(tokenizer.decode(output[0]))
⚠️ 重要提示
EXAONE Deep模型经过优化配置训练,因此建议遵循使用指南部分以实现最佳性能。
✨ 主要特性
- 卓越推理能力:在数学和编码等各种推理任务中表现出色,不同参数规模的模型在同级别中具有竞争力。
- 多语言支持:支持英语和韩语。
- 多种量化格式:提供预量化的模型,包括AWQ和GGUF格式。
📦 安装指南
文档未提及具体安装步骤,可参考快速开始部分使用相关库。
💻 使用示例
基础用法
📚 详细文档
更多详细信息,请参考我们的文档、博客和GitHub。
🔧 技术细节
本仓库包含推理2.4B语言模型的AWQ量化权重,具体特性如下:
属性 |
详情 |
模型类型 |
推理语言模型 |
参数量(不包括嵌入层) |
2.14B |
层数 |
30 |
注意力头数量 |
GQA,32个查询头和8个键值头 |
词表大小 |
102,400 |
上下文长度 |
32,768个标记 |
词嵌入绑定 |
是(与7.8B和32B模型不同) |
量化方式 |
AWQ,4位分组仅权重量化(W4A16g128) |
📄 许可证
该模型遵循EXAONE AI模型许可协议1.1 - 非商业版。
📚 引用
@article{exaone-deep,
title={EXAONE Deep: Reasoning Enhanced Language Models},
author={{LG AI Research}},
journal={arXiv preprint arXiv:2503.12524},
year={2025}
}
📞 联系我们
LG AI研究技术支持:contact_us@lgresearch.ai
⚠️ 模型局限性
EXAONE语言模型存在一定局限性,可能偶尔生成不适当的响应。该语言模型基于标记的输出概率生成响应,这是在从训练数据中学习时确定的。尽管我们已尽力从训练数据中排除个人、有害和有偏见的信息,但仍可能包含一些有问题的内容,从而可能导致不良响应。请注意,EXAONE语言模型生成的文本并不反映LG AI研究的观点。
- 可能生成包含个人、有害或其他不适当信息的不适当答案。
- 可能生成与年龄、性别、种族等相关的有偏见的响应。
- 生成的响应严重依赖训练数据的统计信息,可能导致生成语义或语法错误的句子。
- 由于模型不反映最新信息,响应可能是错误或矛盾的。
LG AI研究致力于降低EXAONE语言模型可能带来的潜在风险。用户在使用EXAONE语言模型时,不得进行任何可能诱导生成违反LG AI道德原则的不适当输出的恶意活动(例如输入非法信息)。
💡 使用建议
为实现预期性能,建议使用以下配置:
- 确保模型推理步骤以
<thought>\n
开头。省略此内容可能会降低模型的输出质量。可以通过tokenizer.apply_chat_template()
并设置add_generation_prompt=True
轻松应用此功能。请查看快速开始部分的示例代码。
- EXAONE Deep模型的推理步骤通常包含在
<thought>\n...\n</thought>
中,且包含大量标记,因此在多轮对话中可能需要删除之前的推理步骤。提供的分词器会自动处理此问题。
- 避免使用系统提示,在用户提示中构建指令。
- 额外的指令有助于模型进行更深入的推理,从而生成更好的输出。
- 对于数学问题,指令**"请逐步推理,并将最终答案放在\boxed{}中。"** 很有帮助。
- 有关包括提示在内的评估设置的更多信息,请参考我们的文档。
- 在评估中,我们使用
temperature=0.6
和top_p=0.95
进行生成。
- 评估模型时,建议多次测试以准确评估预期性能。