🚀 DNA 1.0 8B Instruct
DNA 1.0 8B Instruct 是一款基於 Llama 架構的最先進(SOTA)雙語語言模型。它專門針對韓語的理解和生成進行了優化,同時也具備出色的英語處理能力。該模型通過複雜的流程開發而成,包括與 Llama 3.1 8B Instruct 進行球面線性插值(SLERP)模型合併,並使用 Llama 3.1 405B 作為教師模型進行知識蒸餾(KD)。此外,它還使用高質量的韓語數據集進行了持續預訓練(CPT),並通過監督微調(SFT)和直接偏好優化(DPO)完成訓練,以符合人類偏好並增強指令遵循能力。
DNA 1.0 8B Instruct 在約 70 億個精心策劃的標記數據上進行了微調,並經過了廣泛的指令調整,以增強其遵循複雜指令和進行自然對話的能力。
更多詳細信息,請參考我們的 技術報告。
- 開發者: Dnotitia Inc.
- 支持語言: 韓語、英語
- 模型發佈日期: 2024 年 12 月 10 日
- 詞彙量: 128,256
- 上下文長度: 131,072 個標記(128k)
- 許可證: CC BY - NC 4.0
通知(韓語):
本模型可用於商業目的。如果您希望進行商業使用,請通過 聯繫我們 進行諮詢。我們將通過簡單的協商程序批准您的商業使用。
試試由 DNA 驅動的 Mnemos 助手!公測開放 →
✨ 主要特性
- 基於 Llama 架構,專為韓語理解和生成優化,同時具備強大英語能力。
- 通過模型合併、知識蒸餾、持續預訓練、監督微調等複雜流程訓練。
- 在大量精心策劃的數據上微調,增強指令遵循和對話能力。
📦 安裝指南
此模型需要 transformers >= 4.43.0
。
💻 使用示例
基礎用法
from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer
tokenizer = AutoTokenizer.from_pretrained('dnotitia/Llama-DNA-1.0-8B-Instruct')
model = AutoModelForCausalLM.from_pretrained('dnotitia/Llama-DNA-1.0-8B-Instruct', device_map='auto')
streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)
conversation = [
{"role": "system", "content": "You are a helpful assistant, Dnotitia DNA."},
{"role": "user", "content": "너의 이름은?"},
]
inputs = tokenizer.apply_chat_template(conversation,
add_generation_prompt=True,
return_dict=True,
return_tensors="pt").to(model.device)
_ = model.generate(**inputs, streamer=streamer)
📚 詳細文檔
評估
我們在各種基準測試中,將 DNA 1.0 8B Instruct 與其他類似規模的知名語言模型進行了比較,包括韓語特定任務和通用語言理解指標。
語言 |
基準測試 |
dnotitia/Llama-DNA-1.0-8B-Instruct |
LGAI-EXAONE/EXAONE-3.5-7.8B-Instruct |
LGAI-EXAONE/EXAONE-3.0-7.8B-Instruct |
yanolja/EEVE-Korean-Instruct-10.8B-v1.0 |
Qwen/Qwen2.5-7B-Instruct |
meta-llama/Llama-3.1-8B-Instruct |
mistralai/Mistral-7B-Instruct-v0.3 |
NCSOFT/Llama-VARCO-8B-Instruct |
upstage/SOLAR-10.7B-Instruct-v1.0 |
韓語 |
KMMLU |
53.26 (第 1 名) |
45.30 |
45.28 |
42.17 |
45.66 |
41.66 |
31.45 |
38.49 |
41.50 |
|
KMMLU-hard |
29.46 (第 1 名) |
23.17 |
23.17 |
19.25 |
24.78 |
20.49 |
17.86 |
19.83 |
20.61 |
|
KoBEST |
83.40 (第 1 名) |
79.05 |
80.13 |
81.67 |
78.51 |
67.56 |
63.77 |
72.99 |
73.26 |
|
Belebele |
57.99 (第 1 名) |
40.97 |
45.11 |
49.40 |
54.85 |
54.70 |
40.31 |
53.17 |
48.68 |
|
CSATQA |
43.32 (第 2 名) |
40.11 |
34.76 |
39.57 |
45.45 |
36.90 |
27.27 |
32.62 |
34.22 |
英語 |
MMLU |
66.64 (第 3 名) |
65.27 |
64.32 |
63.63 |
74.26 |
68.26 |
62.04 |
63.25 |
65.30 |
|
MMLU-Pro |
43.05 (第 1 名) |
40.73 |
38.90 |
32.79 |
42.5 |
40.92 |
33.49 |
37.11 |
30.25 |
|
GSM8K |
80.52 (第 1 名) |
65.96 |
80.06 |
56.18 |
75.74 |
75.82 |
49.66 |
64.14 |
69.22 |
評估協議
為了方便重現我們的評估結果,我們列出了以下使用的評估工具和設置:
|
評估設置 |
指標 |
評估工具 |
KMMLU |
5-shot |
macro_avg / exact_match |
lm-eval-harness |
KMMLU Hard |
5-shot |
macro_avg / exact_match |
lm-eval-harness |
KoBEST |
5-shot |
macro_avg / f1 |
lm-eval-harness |
Belebele |
0-shot |
acc |
lm-eval-harness |
CSATQA |
0-shot |
acc_norm |
lm-eval-harness |
MMLU |
5-shot |
macro_avg / acc |
lm-eval-harness |
MMLU Pro |
5-shot |
macro_avg / exact_match |
lm-eval-harness |
GSM8K |
5-shot |
acc, exact_match & strict_extract |
lm-eval-harness |
侷限性
雖然 DNA 1.0 8B Instruct 表現出色,但用戶應注意以下侷限性:
- 模型偶爾可能會生成有偏見或不適當的內容。
- 回覆基於訓練數據,可能無法反映當前信息。
- 模型有時可能會產生事實錯誤或不一致的答案。
- 性能可能因任務的複雜性和領域而異。
- 生成的內容應檢查其準確性和適當性。
附錄
- 合併前後模型權重差異的中位數百分比(我們的 SFT 模型 + Llama 3.1 8B Instruct):

引用
如果您在學術研究中使用或討論此模型,請引用該項目以提高知名度:
@misc{lee2025dna10technicalreport,
title={DNA 1.0 Technical Report},
author={Jungyup Lee and Jemin Kim and Sang Park and SeungJae Lee},
year={2025},
eprint={2501.10648},
archivePrefix={arXiv},
primaryClass={cs.CL},
url={https://arxiv.org/abs/2501.10648},
}
📄 許可證
本模型根據 CC BY - NC 4.0 許可證發佈。如需商業使用諮詢,請 聯繫我們。