Hyperclovax SEED Text Instruct 0.5B

🚀 HyperCLOVAX-SEED-Text-Instruct-0.5B

HyperCLOVAX-SEED-Text-Instruct-0.5B是一款具备指令跟随能力的文本生成模型，在理解韩语语言和文化方面表现出色。与同规模的外部竞品相比，它在数学性能上有所提升，韩语能力也显著增强。该模型是HyperCLOVAX目前发布的最小模型，适合在边缘设备等资源受限的环境中部署，支持最大4K的上下文长度，可广泛应用于各类任务。

🚀 快速开始

HyperCLOVAX-SEED-Text-Instruct-0.5B是一款强大的文本生成模型，在韩语理解和处理上表现卓越，且训练成本较低，适合资源受限环境。下面将为你介绍其基本信息、训练情况、性能表现及使用示例。

✨ 主要特性

• 语言能力出色：擅长理解韩语语言和文化，相比同规模竞品，韩语能力显著增强。
• 数学性能提升：与外部同规模竞争对手相比，数学性能有所提高。
• 轻量级部署：是HyperCLOVAX目前发布的最小模型，适合在边缘设备等资源受限环境中部署。
• 成本优势明显：利用轻量级训练流程和高质量数据，训练成本远低于同规模的行业领先竞品。

📦 安装指南

文档未提及安装步骤，此部分跳过。

💻 使用示例

基础用法

from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained("naver-hyperclovax/HyperCLOVAX-SEED-Text-Instruct-0.5B").to(device="cuda")
tokenizer = AutoTokenizer.from_pretrained("naver-hyperclovax/HyperCLOVAX-SEED-Text-Instruct-0.5B")

chat = [
  {"role": "tool_list", "content": ""},
  {"role": "system", "content": "- AI 언어모델의 이름은 \"CLOVA X\" 이며 네이버에서 만들었다.\n- 오늘은 2025년 04월 24일(목)이다."},
  {"role": "user", "content": "슈뢰딩거 방정식과 양자역학의 관계를 최대한 자세히 알려줘."},
]

inputs = tokenizer.apply_chat_template(chat, add_generation_prompt=True, return_dict=True, return_tensors="pt")
inputs = inputs.to(device="cuda")
output_ids = model.generate(**inputs, max_length=1024, stop_strings=["<|endofturn|>", "<|stop|>"], repetition_penalty=1.2, tokenizer=tokenizer)
print(tokenizer.batch_decode(output_ids))

高级用法

文档未提及高级用法代码示例，此部分跳过。

📚 详细文档

基本信息

训练与数据

HyperCLOVAX-SEED-Text-Instruct-0.5B的训练数据集来源广泛，包括该模型开发过程中积累的高质量数据。训练主要分为三个阶段：

1. 预训练：使用高质量数据和高性能预训练模型进行知识获取。
2. 拒绝采样微调（RFT）：增强多领域知识和复杂推理能力。
3. 有监督微调（SFT）：提高指令跟随能力。

训练成本

HyperCLOVAX-SEED-Text-Instruct-0.5B利用HyperCLOVA X的轻量级训练流程和高质量数据，与同规模的行业领先竞品相比，训练成本显著降低。不包括SFT阶段，单次预训练的成本如下：

与QWEN2.5‑0.5B-instruct相比，预训练成本降低了约39倍。

基准测试

🔧 技术细节

文档未提供足够详细的技术实现细节，此部分跳过。

📄 许可证

• 许可证类型：other
• 许可证名称：hyperclovax-seed
• 许可证链接：LICENSE