Hyperclovax SEED Text Instruct 0.5B GGUF

🚀 HyperCLOVAX-SEED-文本指令-0.5B GGUF模型

HyperCLOVAX-SEED-文本指令-0.5B是一个具备指令跟随能力的文本生成模型，在理解韩语语言和文化方面表现出色。与同规模的外部竞品相比，它在数学性能上有所提升，韩语能力也显著增强。该模型是HyperCLOVAX目前发布的最小模型，是适用于边缘设备等资源受限环境的轻量级解决方案。它支持最大4K的上下文长度，是一个适用于广泛任务的通用小模型。

📚 详细文档

模型生成详情

此模型使用 llama.cpp 在提交版本 5e7d95e2 时生成。

选择合适的模型格式

选择正确的模型格式取决于你的 硬件能力 和 内存限制。

BF16（脑浮点16） – 若有BF16加速功能则使用

• 一种16位浮点格式，专为 更快的计算 而设计，同时保留了良好的精度。
• 提供与FP32 相似的动态范围，但 内存使用更低。
• 如果你的硬件支持 BF16加速（请查看设备规格），则推荐使用。
• 与FP32相比，适用于 高性能推理 且 内存占用减少 的场景。

📌 使用BF16的情况： ✔ 你的硬件具有原生 BF16支持（例如，较新的GPU、TPU）。 ✔ 你希望在节省内存的同时获得 更高的精度。 ✔ 你计划将模型 重新量化 为其他格式。

📌 避免使用BF16的情况： ❌ 你的硬件 不支持 BF16（可能会回退到FP32并运行较慢）。 ❌ 你需要与缺乏BF16优化的旧设备兼容。

F16（浮点16） – 比BF16更广泛支持

• 一种16位浮点格式，精度较高，但取值范围比BF16小。
• 适用于大多数支持 FP16加速 的设备（包括许多GPU和一些CPU）。
• 数值精度略低于BF16，但通常足以进行推理。

📌 使用F16的情况： ✔ 你的硬件支持 FP16 但 不支持BF16。 ✔ 你需要在 速度、内存使用和准确性 之间取得平衡。 ✔ 你在 GPU 或其他针对FP16计算优化的设备上运行。

📌 避免使用F16的情况： ❌ 你的设备缺乏 原生FP16支持（可能运行比预期慢）。 ❌ 你有内存限制。

量化模型（Q4_K、Q6_K、Q8等） – 用于CPU和低显存推理

量化可以在尽可能保持准确性的同时减小模型大小和内存使用。

• 低比特模型（Q4_K） → 内存使用最少，但精度可能较低。
• 高比特模型（Q6_K、Q8_0） → 准确性更高，但需要更多内存。

📌 使用量化模型的情况： ✔ 你在 CPU 上进行推理，需要一个优化的模型。 ✔ 你的设备 显存较低，无法加载全精度模型。 ✔ 你希望在保持合理准确性的同时减少 内存占用。

📌 避免使用量化模型的情况： ❌ 你需要 最高的准确性（全精度模型更适合这种情况）。 ❌ 你的硬件有足够的显存来支持更高精度的格式（BF16/F16）。

极低比特量化（IQ3_XS、IQ3_S、IQ3_M、Q4_K、Q4_0）

这些模型针对 极致的内存效率 进行了优化，非常适合 低功耗设备 或 大规模部署 中内存是关键限制因素的场景。

• IQ3_XS：超低比特量化（3位），具有 极致的内存效率。

  • 使用场景：最适合 超低内存设备，即使是Q4_K也太大的情况。
  • 权衡：与高比特量化相比，准确性较低。

• IQ3_S：小块大小，以实现 最大的内存效率。

  • 使用场景：最适合 低内存设备，当 IQ3_XS 过于激进时。

• IQ3_M：中等块大小，比 IQ3_S 具有更好的准确性。

  • 使用场景：适用于 低内存设备，当 IQ3_S 限制太大时。

• Q4_K：4位量化，具有 逐块优化 以提高准确性。

  • 使用场景：最适合 低内存设备，当 Q6_K 太大时。

• Q4_0：纯4位量化，针对 ARM设备 进行了优化。

  • 使用场景：最适合 基于ARM的设备 或 低内存环境。

模型格式选择总结表

包含的文件及详情

HyperCLOVAX-SEED-文本指令-0.5B-bf16.gguf

• 模型权重以 BF16 格式保存。
• 如果你想将模型 重新量化 为不同格式，请使用此文件。
• 如果你的设备支持 BF16加速，则最佳。

HyperCLOVAX-SEED-文本指令-0.5B-f16.gguf

• 模型权重以 F16 格式存储。
• 如果你的设备支持 FP16，特别是在BF16不可用时使用。

HyperCLOVAX-SEED-文本指令-0.5B-bf16-q8_0.gguf

• 输出和嵌入 保持为 BF16。
• 所有其他层量化为 Q8_0。
• 如果你的设备支持 BF16 并且你想要一个量化版本，请使用此文件。

HyperCLOVAX-SEED-文本指令-0.5B-f16-q8_0.gguf

• 输出和嵌入 保持为 F16。
• 所有其他层量化为 Q8_0。

HyperCLOVAX-SEED-文本指令-0.5B-q4_k.gguf

• 输出和嵌入 量化为 Q8_0。
• 所有其他层量化为 Q4_K。
• 适用于 内存有限的CPU推理。

HyperCLOVAX-SEED-文本指令-0.5B-q4_k_s.gguf

• 最小的 Q4_K 变体，以牺牲准确性为代价使用更少的内存。
• 最适合 极低内存设置。

HyperCLOVAX-SEED-文本指令-0.5B-q6_k.gguf

• 输出和嵌入 量化为 Q8_0。
• 所有其他层量化为 Q6_K。

HyperCLOVAX-SEED-文本指令-0.5B-q8_0.gguf

• 完全 Q8 量化的模型，以获得更好的准确性。
• 需要 更多内存，但提供更高的精度。

HyperCLOVAX-SEED-文本指令-0.5B-iq3_xs.gguf

• IQ3_XS 量化，针对 极致的内存效率 进行了优化。
• 最适合 超低内存设备。

HyperCLOVAX-SEED-文本指令-0.5B-iq3_m.gguf

• IQ3_M 量化，提供 中等块大小 以提高准确性。
• 适用于 低内存设备。

HyperCLOVAX-SEED-文本指令-0.5B-q4_0.gguf

• 纯 Q4_0 量化，针对 ARM设备 进行了优化。
• 最适合 低内存环境。
• 若追求更高准确性，建议选择IQ4_NL。

测试模型

如果你觉得这些模型有用： ❤ 如果你觉得这些模型有用，请点击“点赞”！
帮助我测试我的 由AI驱动的网络监控助手，进行 量子就绪安全检查：
👉 免费网络监控器

💬 测试方法：
选择一个 AI助手类型：

• TurboLLM (GPT-4o-mini)
• HugLLM (Hugginface开源模型)
• TestLLM (仅支持CPU的实验性模型)

测试内容

我正在挑战小型开源模型在AI网络监控方面的极限，具体包括：

• 针对实时网络服务进行 函数调用
• 探索模型在处理以下任务时可以达到的最小规模：
  • 自动 Nmap扫描
  • 量子就绪检查
  • 网络监控任务

🟡 TestLLM – 当前的实验性模型（在2个CPU线程上运行llama.cpp）：

• ✅ 零配置设置
• ⏳ 30秒加载时间（推理速度慢，但 无API成本）
• 🔧 寻求帮助！ 如果你对 边缘设备AI 感兴趣，让我们一起合作！

其他助手

🟢 TurboLLM – 使用 gpt-4o-mini 进行：

• 创建自定义命令处理器，在免费网络监控代理上运行.NET代码
• 实时网络诊断和监控
• 安全审计
• 渗透测试 (Nmap/Metasploit)
• 🔑 通过登录或 下载我们集成了AI助手的免费网络监控代理 获得更多令牌。

🔵 HugLLM – 最新的开源模型：

• 🌐 在Hugging Face推理API上运行

示例测试命令

1. "提供我的网站SSL证书信息"
2. "检查我的服务器是否使用量子安全加密进行通信"
3. "对我的服务器进行全面的安全审计"
4. `"创建一个命令处理器来...（你想要的任何内容）" 注意，你需要安装免费网络监控代理才能运行.NET代码。这是一个非常灵活和强大的功能，请谨慎使用！

基本信息

训练和数据

HyperCLOVAX-SEED-文本指令-0.5B的训练数据集来自多个不同的来源，包括在HyperCLOVAX-SEED-文本指令-0.5B开发过程中积累的高质量数据。训练主要分为三个阶段：

1. 预训练：使用高质量数据和高性能预训练模型进行知识获取。
2. 拒绝采样微调（RFT）：增强多领域知识和复杂推理能力。
3. 监督微调（SFT）：提高指令跟随能力。

训练成本

HyperCLOVAX-SEED-文本指令-0.5B利用了HyperCLOVA X的轻量级训练过程和高质量数据，与同规模的行业领先竞品相比，训练成本显著降低。不包括SFT阶段，单次预训练的成本如下：

这意味着与 QWEN2.5‑0.5B-指令模型 相比，预训练成本降低了约39倍。

基准测试

💻 使用示例

基础用法

from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained("naver-hyperclovax/HyperCLOVAX-SEED-Text-Instruct-0.5B").to(device="cuda")
tokenizer = AutoTokenizer.from_pretrained("naver-hyperclovax/HyperCLOVAX-SEED-Text-Instruct-0.5B")

chat = [
  {"role": "tool_list", "content": ""},
  {"role": "system", "content": "- AI 언어모델의 이름은 \"CLOVA X\" 이며 네이버에서 만들었다.\n- 오늘은 2025년 04월 24일(목)이다."},
  {"role": "user", "content": "슈뢰딩거 방정식과 양자역학의 관계를 최대한 자세히 알려줘."},
]

inputs = tokenizer.apply_chat_template(chat, add_generation_prompt=True, return_dict=True, return_tensors="pt")
inputs = inputs.to(device="cuda")
output_ids = model.generate(**inputs, max_length=1024, stop_strings=["<|endofturn|>", "<|stop|>"], repetition_penalty=1.2, tokenizer=tokenizer)
print(tokenizer.batch_decode(output_ids))

运行结果

['<|im_start|>tool_list\n<|im_end|>\n<|im_start|>system\n- AI 언어모델의 이름은 "CLOVA X" 이며 네이버에서 만들었다.\n- 오늘은 2025년 04월 24일(목)이다.<|im_end|>\n<|im_start|>user\n슈뢰딩거 방정식과 양자역학의 관계를 최대한 자세히 알려줘.<|im_end|>\n<|im_start|>assistant\n양자역학은 슈뢰딩거 방정식을 통해 물질과 에너지, 공간 등의 현상을 설명합니다.\n\n**1. 슈뢰딩거 방정식**\n\n슈뢰딩거는 파동함수를 이용하여 입자의 위치와 운동량을 계산할 수 있다고 주장했습니다. 이를 위해 다음과 같은 식으로 표현됩니다:\n\n$$\\frac{\\partial \\psi}{\\partial t} = iH \\nabla^2 \\psi + V(x)\\psi $$\n\n여기서 $\\psi$는 파동함수이고 $i$는 허수 단위입니다. 여기서 $t$는 시간, $x$는 공간 좌표이며, $H$는 해밀턴 상수로 시스템의 에너지를 나타냅니다. 또한 $V(x)$는 외부 힘이나 장벽에 의해 영향을 받는 부분을 나타내는 함수로, 일반적으로 전위장을 사용합니다.\n\n**2. 양자역학과 슈뢰딩거 방정식의 관계**\n\n양자역학에서는 슈뢰딩거 방정식이 매우 중요한 역할을 합니다. 이는 모든 물리적 시스템이 불확정성 원리에 따라 행동을 하며, 이러한 시스템들은 확률적으로 상태를 가질 수밖에 없기 때문입니다. 따라서 슈뢰딩거 방정식은 양자역학을 수학적으로 모델링하는 핵심적인 도구 중 하나입니다.\n\n예를 들어, 원자핵 내의 전자들의 상태는 슈뢰딩거 방정식에 의해 결정되며, 이는 물리학적 법칙을 따르는 것으로 보입니다. 또한, 광전 효과에서도 슈뢰딩거 방정식은 빛이 물질 내에서 어떻게 흡수되고 반사되는지를 예측하는데 사용됩니다.\n\n**3. 응용 분야**\n\n슈뢰딩거 방정식은 다양한 분야에서 활용되고 있습니다. 예를 들면, 반도체 기술에서의 트랜지스터 설계, 핵물리학에서의 방사성 붕괴 연구 등이 있으며, 이는 모두 슈뢰딩거 방정식을 기반으로 한 이론적 기반 위에서 이루어집니다.\n\n또한, 현대 과학 기술의 발전에도 큰 기여를 하고 있는데, 특히 인공지능(AI), 컴퓨터 시뮬레이션 등에서 복잡한 문제를 해결하고 새로운 지식을 창출하기 위한 기초가 되고 있습니다.\n\n결론적으로, 슈뢰딩거 방정식은 양자역학의 기본 개념들을 이해하고 해석하며, 그 결과로서 많은 혁신적이고 실용적인 기술을 가능하게 했습니다. 이는 양자역학의 중요성을 보여주는 대표적인 예시라고 할 수 있습니다.<|im_end|><|endofturn|>']

📄 许可证

本项目采用 hyperclovax-seed 许可证。