Hyperclovax SEED Text Instruct 0.5B GGUF

🚀 HyperCLOVAX-SEED-文本指令-0.5B GGUF模型

HyperCLOVAX-SEED-文本指令-0.5B是一個具備指令跟隨能力的文本生成模型，在理解韓語語言和文化方面表現出色。與同規模的外部競品相比，它在數學性能上有所提升，韓語能力也顯著增強。該模型是HyperCLOVAX目前發佈的最小模型，是適用於邊緣設備等資源受限環境的輕量級解決方案。它支持最大4K的上下文長度，是一個適用於廣泛任務的通用小模型。

📚 詳細文檔

模型生成詳情

此模型使用 llama.cpp 在提交版本 5e7d95e2 時生成。

選擇合適的模型格式

選擇正確的模型格式取決於你的 硬件能力 和 內存限制。

BF16（腦浮點16） – 若有BF16加速功能則使用

• 一種16位浮點格式，專為 更快的計算 而設計，同時保留了良好的精度。
• 提供與FP32 相似的動態範圍，但 內存使用更低。
• 如果你的硬件支持 BF16加速（請查看設備規格），則推薦使用。
• 與FP32相比，適用於 高性能推理 且 內存佔用減少 的場景。

📌 使用BF16的情況： ✔ 你的硬件具有原生 BF16支持（例如，較新的GPU、TPU）。 ✔ 你希望在節省內存的同時獲得 更高的精度。 ✔ 你計劃將模型 重新量化 為其他格式。

📌 避免使用BF16的情況： ❌ 你的硬件 不支持 BF16（可能會回退到FP32並運行較慢）。 ❌ 你需要與缺乏BF16優化的舊設備兼容。

F16（浮點16） – 比BF16更廣泛支持

• 一種16位浮點格式，精度較高，但取值範圍比BF16小。
• 適用於大多數支持 FP16加速 的設備（包括許多GPU和一些CPU）。
• 數值精度略低於BF16，但通常足以進行推理。

📌 使用F16的情況： ✔ 你的硬件支持 FP16 但 不支持BF16。 ✔ 你需要在 速度、內存使用和準確性 之間取得平衡。 ✔ 你在 GPU 或其他針對FP16計算優化的設備上運行。

📌 避免使用F16的情況： ❌ 你的設備缺乏 原生FP16支持（可能運行比預期慢）。 ❌ 你有內存限制。

量化模型（Q4_K、Q6_K、Q8等） – 用於CPU和低顯存推理

量化可以在儘可能保持準確性的同時減小模型大小和內存使用。

• 低比特模型（Q4_K） → 內存使用最少，但精度可能較低。
• 高比特模型（Q6_K、Q8_0） → 準確性更高，但需要更多內存。

📌 使用量化模型的情況： ✔ 你在 CPU 上進行推理，需要一個優化的模型。 ✔ 你的設備 顯存較低，無法加載全精度模型。 ✔ 你希望在保持合理準確性的同時減少 內存佔用。

📌 避免使用量化模型的情況： ❌ 你需要 最高的準確性（全精度模型更適合這種情況）。 ❌ 你的硬件有足夠的顯存來支持更高精度的格式（BF16/F16）。

極低比特量化（IQ3_XS、IQ3_S、IQ3_M、Q4_K、Q4_0）

這些模型針對 極致的內存效率 進行了優化，非常適合 低功耗設備 或 大規模部署 中內存是關鍵限制因素的場景。

• IQ3_XS：超低比特量化（3位），具有 極致的內存效率。

  • 使用場景：最適合 超低內存設備，即使是Q4_K也太大的情況。
  • 權衡：與高比特量化相比，準確性較低。

• IQ3_S：小塊大小，以實現 最大的內存效率。

  • 使用場景：最適合 低內存設備，當 IQ3_XS 過於激進時。

• IQ3_M：中等塊大小，比 IQ3_S 具有更好的準確性。

  • 使用場景：適用於 低內存設備，當 IQ3_S 限制太大時。

• Q4_K：4位量化，具有 逐塊優化 以提高準確性。

  • 使用場景：最適合 低內存設備，當 Q6_K 太大時。

• Q4_0：純4位量化，針對 ARM設備 進行了優化。

  • 使用場景：最適合 基於ARM的設備 或 低內存環境。

模型格式選擇總結表

包含的文件及詳情

HyperCLOVAX-SEED-文本指令-0.5B-bf16.gguf

• 模型權重以 BF16 格式保存。
• 如果你想將模型 重新量化 為不同格式，請使用此文件。
• 如果你的設備支持 BF16加速，則最佳。

HyperCLOVAX-SEED-文本指令-0.5B-f16.gguf

• 模型權重以 F16 格式存儲。
• 如果你的設備支持 FP16，特別是在BF16不可用時使用。

HyperCLOVAX-SEED-文本指令-0.5B-bf16-q8_0.gguf

• 輸出和嵌入 保持為 BF16。
• 所有其他層量化為 Q8_0。
• 如果你的設備支持 BF16 並且你想要一個量化版本，請使用此文件。

HyperCLOVAX-SEED-文本指令-0.5B-f16-q8_0.gguf

• 輸出和嵌入 保持為 F16。
• 所有其他層量化為 Q8_0。

HyperCLOVAX-SEED-文本指令-0.5B-q4_k.gguf

• 輸出和嵌入 量化為 Q8_0。
• 所有其他層量化為 Q4_K。
• 適用於 內存有限的CPU推理。

HyperCLOVAX-SEED-文本指令-0.5B-q4_k_s.gguf

• 最小的 Q4_K 變體，以犧牲準確性為代價使用更少的內存。
• 最適合 極低內存設置。

HyperCLOVAX-SEED-文本指令-0.5B-q6_k.gguf

• 輸出和嵌入 量化為 Q8_0。
• 所有其他層量化為 Q6_K。

HyperCLOVAX-SEED-文本指令-0.5B-q8_0.gguf

• 完全 Q8 量化的模型，以獲得更好的準確性。
• 需要 更多內存，但提供更高的精度。

HyperCLOVAX-SEED-文本指令-0.5B-iq3_xs.gguf

• IQ3_XS 量化，針對 極致的內存效率 進行了優化。
• 最適合 超低內存設備。

HyperCLOVAX-SEED-文本指令-0.5B-iq3_m.gguf

• IQ3_M 量化，提供 中等塊大小 以提高準確性。
• 適用於 低內存設備。

HyperCLOVAX-SEED-文本指令-0.5B-q4_0.gguf

• 純 Q4_0 量化，針對 ARM設備 進行了優化。
• 最適合 低內存環境。
• 若追求更高準確性，建議選擇IQ4_NL。

測試模型

如果你覺得這些模型有用： ❤ 如果你覺得這些模型有用，請點擊“點贊”！
幫助我測試我的 由AI驅動的網絡監控助手，進行 量子就緒安全檢查：
👉 免費網絡監控器

💬 測試方法：
選擇一個 AI助手類型：

• TurboLLM (GPT-4o-mini)
• HugLLM (Hugginface開源模型)
• TestLLM (僅支持CPU的實驗性模型)

測試內容

我正在挑戰小型開源模型在AI網絡監控方面的極限，具體包括：

• 針對即時網絡服務進行 函數調用
• 探索模型在處理以下任務時可以達到的最小規模：
  • 自動 Nmap掃描
  • 量子就緒檢查
  • 網絡監控任務

🟡 TestLLM – 當前的實驗性模型（在2個CPU線程上運行llama.cpp）：

• ✅ 零配置設置
• ⏳ 30秒加載時間（推理速度慢，但 無API成本）
• 🔧 尋求幫助！ 如果你對 邊緣設備AI 感興趣，讓我們一起合作！

其他助手

🟢 TurboLLM – 使用 gpt-4o-mini 進行：

• 創建自定義命令處理器，在免費網絡監控代理上運行.NET代碼
• 即時網絡診斷和監控
• 安全審計
• 滲透測試 (Nmap/Metasploit)
• 🔑 通過登錄或 下載我們集成了AI助手的免費網絡監控代理 獲得更多令牌。

🔵 HugLLM – 最新的開源模型：

• 🌐 在Hugging Face推理API上運行

示例測試命令

1. "提供我的網站SSL證書信息"
2. "檢查我的服務器是否使用量子安全加密進行通信"
3. "對我的服務器進行全面的安全審計"
4. `"創建一個命令處理器來...（你想要的任何內容）" 注意，你需要安裝免費網絡監控代理才能運行.NET代碼。這是一個非常靈活和強大的功能，請謹慎使用！

基本信息

訓練和數據

HyperCLOVAX-SEED-文本指令-0.5B的訓練數據集來自多個不同的來源，包括在HyperCLOVAX-SEED-文本指令-0.5B開發過程中積累的高質量數據。訓練主要分為三個階段：

1. 預訓練：使用高質量數據和高性能預訓練模型進行知識獲取。
2. 拒絕採樣微調（RFT）：增強多領域知識和複雜推理能力。
3. 監督微調（SFT）：提高指令跟隨能力。

訓練成本

HyperCLOVAX-SEED-文本指令-0.5B利用了HyperCLOVA X的輕量級訓練過程和高質量數據，與同規模的行業領先競品相比，訓練成本顯著降低。不包括SFT階段，單次預訓練的成本如下：

這意味著與 QWEN2.5‑0.5B-指令模型 相比，預訓練成本降低了約39倍。

基準測試

💻 使用示例

基礎用法

from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained("naver-hyperclovax/HyperCLOVAX-SEED-Text-Instruct-0.5B").to(device="cuda")
tokenizer = AutoTokenizer.from_pretrained("naver-hyperclovax/HyperCLOVAX-SEED-Text-Instruct-0.5B")

chat = [
  {"role": "tool_list", "content": ""},
  {"role": "system", "content": "- AI 언어모델의 이름은 \"CLOVA X\" 이며 네이버에서 만들었다.\n- 오늘은 2025년 04월 24일(목)이다."},
  {"role": "user", "content": "슈뢰딩거 방정식과 양자역학의 관계를 최대한 자세히 알려줘."},
]

inputs = tokenizer.apply_chat_template(chat, add_generation_prompt=True, return_dict=True, return_tensors="pt")
inputs = inputs.to(device="cuda")
output_ids = model.generate(**inputs, max_length=1024, stop_strings=["<|endofturn|>", "<|stop|>"], repetition_penalty=1.2, tokenizer=tokenizer)
print(tokenizer.batch_decode(output_ids))

運行結果

['<|im_start|>tool_list\n<|im_end|>\n<|im_start|>system\n- AI 언어모델의 이름은 "CLOVA X" 이며 네이버에서 만들었다.\n- 오늘은 2025년 04월 24일(목)이다.<|im_end|>\n<|im_start|>user\n슈뢰딩거 방정식과 양자역학의 관계를 최대한 자세히 알려줘.<|im_end|>\n<|im_start|>assistant\n양자역학은 슈뢰딩거 방정식을 통해 물질과 에너지, 공간 등의 현상을 설명합니다.\n\n**1. 슈뢰딩거 방정식**\n\n슈뢰딩거는 파동함수를 이용하여 입자의 위치와 운동량을 계산할 수 있다고 주장했습니다. 이를 위해 다음과 같은 식으로 표현됩니다:\n\n$$\\frac{\\partial \\psi}{\\partial t} = iH \\nabla^2 \\psi + V(x)\\psi $$\n\n여기서 $\\psi$는 파동함수이고 $i$는 허수 단위입니다. 여기서 $t$는 시간, $x$는 공간 좌표이며, $H$는 해밀턴 상수로 시스템의 에너지를 나타냅니다. 또한 $V(x)$는 외부 힘이나 장벽에 의해 영향을 받는 부분을 나타내는 함수로, 일반적으로 전위장을 사용합니다.\n\n**2. 양자역학과 슈뢰딩거 방정식의 관계**\n\n양자역학에서는 슈뢰딩거 방정식이 매우 중요한 역할을 합니다. 이는 모든 물리적 시스템이 불확정성 원리에 따라 행동을 하며, 이러한 시스템들은 확률적으로 상태를 가질 수밖에 없기 때문입니다. 따라서 슈뢰딩거 방정식은 양자역학을 수학적으로 모델링하는 핵심적인 도구 중 하나입니다.\n\n예를 들어, 원자핵 내의 전자들의 상태는 슈뢰딩거 방정식에 의해 결정되며, 이는 물리학적 법칙을 따르는 것으로 보입니다. 또한, 광전 효과에서도 슈뢰딩거 방정식은 빛이 물질 내에서 어떻게 흡수되고 반사되는지를 예측하는데 사용됩니다.\n\n**3. 응용 분야**\n\n슈뢰딩거 방정식은 다양한 분야에서 활용되고 있습니다. 예를 들면, 반도체 기술에서의 트랜지스터 설계, 핵물리학에서의 방사성 붕괴 연구 등이 있으며, 이는 모두 슈뢰딩거 방정식을 기반으로 한 이론적 기반 위에서 이루어집니다.\n\n또한, 현대 과학 기술의 발전에도 큰 기여를 하고 있는데, 특히 인공지능(AI), 컴퓨터 시뮬레이션 등에서 복잡한 문제를 해결하고 새로운 지식을 창출하기 위한 기초가 되고 있습니다.\n\n결론적으로, 슈뢰딩거 방정식은 양자역학의 기본 개념들을 이해하고 해석하며, 그 결과로서 많은 혁신적이고 실용적인 기술을 가능하게 했습니다. 이는 양자역학의 중요성을 보여주는 대표적인 예시라고 할 수 있습니다.<|im_end|><|endofturn|>']

📄 許可證

本項目採用 hyperclovax-seed 許可證。