EXAONE Deep 7.8B GGUF

🚀 QuantFactory/EXAONE-Deep-7.8B-GGUF

這是使用llama.cpp創建的LGAI-EXAONE/EXAONE-Deep-7.8B的量化版本。

🚀 快速開始

我們建議使用transformers v4.43.1或更高版本。

以下是使用該模型進行對話推理的代碼片段：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, TextIteratorStreamer
from threading import Thread

model_name = "LGAI-EXAONE/EXAONE-Deep-7.8B"
streaming = True    # choose the streaming option

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    trust_remote_code=True,
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

# Choose your prompt:
#   Math example (AIME 2024)
prompt = r"""Let $x,y$ and $z$ be positive real numbers that satisfy the following system of equations:
\[\log_2\left({x \over yz}\right) = {1 \over 2}\]\[\log_2\left({y \over xz}\right) = {1 \over 3}\]\[\log_2\left({z \over xy}\right) = {1 \over 4}\]
Then the value of $\left|\log_2(x^4y^3z^2)\right|$ is $\tfrac{m}{n}$ where $m$ and $n$ are relatively prime positive integers. Find $m+n$.

Please reason step by step, and put your final answer within \boxed{}."""
#   Korean MCQA example (CSAT Math 2025)
prompt = r"""Question : $a_1 = 2$인 수열 $\{a_n\}$과 $b_1 = 2$인 등차수열 $\{b_n\}$이 모든 자연수 $n$에 대하여\[\sum_{k=1}^{n} \frac{a_k}{b_{k+1}} = \frac{1}{2} n^2\]을 만족시킬 때, $\sum_{k=1}^{5} a_k$의 값을 구하여라.

Options :
A) 120
B) 125
C) 130
D) 135
E) 140
 
Please reason step by step, and you should write the correct option alphabet (A, B, C, D or E) within \\boxed{}."""

messages = [
    {"role": "user", "content": prompt}
]
input_ids = tokenizer.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    return_tensors="pt"
)

if streaming:
    streamer = TextIteratorStreamer(tokenizer)
    thread = Thread(target=model.generate, kwargs=dict(
        input_ids=input_ids.to("cuda"),
        eos_token_id=tokenizer.eos_token_id,
        max_new_tokens=32768,
        do_sample=True,
        temperature=0.6,
        top_p=0.95,
        streamer=streamer
    ))
    thread.start()

    for text in streamer:
        print(text, end="", flush=True)
else:
    output = model.generate(
        input_ids.to("cuda"),
        eos_token_id=tokenizer.eos_token_id,
        max_new_tokens=32768,
        do_sample=True,
        temperature=0.6,
        top_p=0.95,
    )
    print(tokenizer.decode(output[0]))

⚠️ 重要提示

EXAONE Deep模型是使用優化配置進行訓練的，因此我們建議遵循使用指南部分以實現最佳性能。

✨ 主要特性

模型介紹

我們推出了EXAONE Deep，這是由LG AI Research開發併發布的一系列模型，參數範圍從24億到320億，在包括數學和編碼基準測試在內的各種推理任務中表現出色。評估結果顯示：1) EXAONE Deep 24億參數模型的性能優於其他同等規模的模型；2) EXAONE Deep 78億參數模型不僅優於同等規模的開源權重模型，還超過了專有推理模型OpenAI o1-mini；3) EXAONE Deep 320億參數模型與領先的開源權重模型相比具有競爭力。

更多詳細信息，請參考我們的文檔、博客和GitHub。

模型特性

本倉庫包含一個78億參數的推理語言模型，具有以下特性：

• 參數數量（不包括嵌入層）：69.8億
• 層數：32
• 注意力頭數量：採用GQA，32個查詢頭和8個鍵值頭
• 詞表大小：102,400
• 上下文長度：32,768個標記

📚 詳細文檔

評估結果

以下表格展示了該模型在數學和編碼等推理任務中的評估結果。完整的評估結果可在文檔中找到。

部署方式

EXAONE Deep模型可以在多種框架中進行推理，例如：

• TensorRT - LLM
• vLLM
• SGLang
• llama.cpp
• Ollama
• LM - Studio

有關推理框架的更多詳細信息，請參考我們的EXAONE Deep GitHub。

量化處理

我們提供了使用AWQ預量化的EXAONE Deep模型，以及幾種GGUF格式的量化類型。請參考我們的EXAONE Deep集合來查找相應的量化模型。

使用指南

為了實現預期的性能，我們建議使用以下配置：

1. 確保模型的推理步驟以<thought>\n開頭。如果省略此開頭，模型的輸出質量可能會下降。你可以通過使用tokenizer.apply_chat_template()並設置add_generation_prompt = True來輕鬆應用此功能。請查看快速開始部分的示例代碼。
2. EXAONE Deep模型的推理步驟通常包含在<thought>\n...\n</thought>中，可能會有大量標記。因此，在多輪對話中，可能需要刪除之前的推理步驟。提供的分詞器會自動處理此問題。
3. 避免使用系統提示，而是在用戶提示中構建指令。
4. 額外的指令有助於模型進行更深入的推理，從而生成更好的輸出。
   • 對於數學問題，指令**"請逐步推理，並將最終答案放在\boxed{}中。"** 很有幫助。
   • 有關我們評估設置（包括提示）的更多信息，請參考我們的文檔。
5. 在我們的評估中，我們使用temperature = 0.6和top_p = 0.95進行生成。
6. 在評估模型時，建議多次測試以準確評估預期性能。

侷限性

EXAONE語言模型存在一定的侷限性，偶爾可能會生成不適當的響應。該語言模型根據標記的輸出概率生成響應，這是在從訓練數據中學習時確定的。儘管我們已盡力從訓練數據中排除個人、有害和有偏見的信息，但仍可能包含一些有問題的內容，從而導致不理想的響應。請注意，EXAONE語言模型生成的文本並不反映LG AI Research的觀點。

• 可能會生成包含個人、有害或其他不適當信息的不適當答案。
• 可能會生成與年齡、性別、種族等相關的有偏見的響應。
• 生成的響應嚴重依賴於訓練數據的統計信息，可能會導致生成語義或語法錯誤的句子。
• 由於模型不反映最新信息，響應可能是錯誤或矛盾的。

LG AI Research致力於降低EXAONE語言模型可能帶來的潛在風險。用戶在使用EXAONE語言模型時，不得進行任何可能導致生成違反LG AI道德原則的不適當輸出的惡意活動（例如輸入非法信息）。

📄 許可證

該模型遵循EXAONE AI模型許可協議1.1 - 非商業版。

🔖 引用

@article{exaone-deep,
  title={EXAONE Deep: Reasoning Enhanced Language Models},
  author={{LG AI Research}},
  journal={arXiv preprint arXiv:2503.12524},
  year={2025}
}

📞 聯繫我們

LG AI Research技術支持：contact_us@lgresearch.ai