🚀 HyperCLOVAX-SEED-Text-Instruct-0.5B
HyperCLOVAX-SEED-Text-Instruct-0.5B是一款具備指令跟隨能力的文本生成模型,在理解韓語語言和文化方面表現出色。與同規模的外部競品相比,它在數學性能上有所提升,韓語能力也顯著增強。該模型是HyperCLOVAX目前發佈的最小模型,適合在邊緣設備等資源受限的環境中部署,支持最大4K的上下文長度,可廣泛應用於各類任務。
🚀 快速開始
HyperCLOVAX-SEED-Text-Instruct-0.5B是一款強大的文本生成模型,在韓語理解和處理上表現卓越,且訓練成本較低,適合資源受限環境。下面將為你介紹其基本信息、訓練情況、性能表現及使用示例。
✨ 主要特性
- 語言能力出色:擅長理解韓語語言和文化,相比同規模競品,韓語能力顯著增強。
- 數學性能提升:與外部同規模競爭對手相比,數學性能有所提高。
- 輕量級部署:是HyperCLOVAX目前發佈的最小模型,適合在邊緣設備等資源受限環境中部署。
- 成本優勢明顯:利用輕量級訓練流程和高質量數據,訓練成本遠低於同規模的行業領先競品。
📦 安裝指南
文檔未提及安裝步驟,此部分跳過。
💻 使用示例
基礎用法
from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained("naver-hyperclovax/HyperCLOVAX-SEED-Text-Instruct-0.5B").to(device="cuda")
tokenizer = AutoTokenizer.from_pretrained("naver-hyperclovax/HyperCLOVAX-SEED-Text-Instruct-0.5B")
chat = [
{"role": "tool_list", "content": ""},
{"role": "system", "content": "- AI 언어모델의 이름은 \"CLOVA X\" 이며 네이버에서 만들었다.\n- 오늘은 2025년 04월 24일(목)이다."},
{"role": "user", "content": "슈뢰딩거 방정식과 양자역학의 관계를 최대한 자세히 알려줘."},
]
inputs = tokenizer.apply_chat_template(chat, add_generation_prompt=True, return_dict=True, return_tensors="pt")
inputs = inputs.to(device="cuda")
output_ids = model.generate(**inputs, max_length=1024, stop_strings=["<|endofturn|>", "<|stop|>"], repetition_penalty=1.2, tokenizer=tokenizer)
print(tokenizer.batch_decode(output_ids))
高級用法
文檔未提及高級用法代碼示例,此部分跳過。
📚 詳細文檔
基本信息
屬性 |
詳情 |
模型類型 |
基於Transformer的文本到文本模型(密集模型) |
參數量 |
總計0.57B;不包括詞嵌入和綁定嵌入為0.45B |
輸入/輸出格式 |
文本 / 文本 |
最大上下文長度 |
4K個標記 |
知識截止日期 |
基於截至2025年1月的數據進行訓練 |
訓練與數據
HyperCLOVAX-SEED-Text-Instruct-0.5B的訓練數據集來源廣泛,包括該模型開發過程中積累的高質量數據。訓練主要分為三個階段:
- 預訓練:使用高質量數據和高性能預訓練模型進行知識獲取。
- 拒絕採樣微調(RFT):增強多領域知識和複雜推理能力。
- 有監督微調(SFT):提高指令跟隨能力。
訓練成本
HyperCLOVAX-SEED-Text-Instruct-0.5B利用HyperCLOVA X的輕量級訓練流程和高質量數據,與同規模的行業領先競品相比,訓練成本顯著降低。不包括SFT階段,單次預訓練的成本如下:
預訓練成本類別 |
HyperCLOVAX-SEED-Text-Instruct-0.5B |
QWEN2.5‑0.5B‑instruct |
A100 GPU小時數 |
4.358K |
169.257K |
成本(美元) |
6.537K |
253.886K |
與QWEN2.5‑0.5B-instruct
相比,預訓練成本降低了約39倍。
基準測試
模型 |
KMMLU(5次提示,準確率) |
HAE-RAE(5次提示,準確率) |
CLiCK(5次提示,準確率) |
KoBEST(5次提示,準確率) |
HyperCLOVAX-SEED-Text-Base-0.5B |
0.4181 |
0.6370 |
0.5373 |
0.6963 |
HyperCLOVAX-SEED-Text-Instruct-0.5B |
0.3815 |
0.5619 |
0.4446 |
0.6299 |
QWEN2.5-0.5B-instruct |
0.2968 |
0.3428 |
0.3805 |
0.5025 |
🔧 技術細節
文檔未提供足夠詳細的技術實現細節,此部分跳過。
📄 許可證
- 許可證類型:other
- 許可證名稱:hyperclovax-seed
- 許可證鏈接:LICENSE