Foundation Sec 8B Q8 0 GGUF

🚀 Foundation-Sec-8B-Q8_0-GGUF模型卡片

Foundation-Sec-8B-Q8_0-GGUF是一個經過量化處理的模型，它解決了大內存佔用的問題，在保留原模型網絡安全專業能力的同時，大幅減少了推理時所需的內存。該模型對於需要進行網絡安全相關文本處理的場景，如威脅情報分析、漏洞分類等，具有重要的應用價值。

🚀 快速開始

本模型是從 fdtn-ai/Foundation-Sec-8B 量化而來的8位（Q8_0）GGUF檢查點，使用了llama.cpp進行量化操作。它保留了原80億參數模型在網絡安全領域的專業能力，同時將推理時的內存佔用從約16GB（BF16）減少到了約8.54GB（Q8_0）。

✨ 主要特性

fdtn-ai/Foundation-Sec-8B-Q8_0-GGUF 是 Foundation-Sec-8B 的8位量化版本。Foundation-Sec-8B是一個基於LLaMA 3.1的80億參數模型，在精心策劃的網絡安全特定文本語料庫（如CVE、威脅情報報告、漏洞利用報告、合規指南等）上進行了持續預訓練。基礎模型最初於2025年4月28日以Apache 2.0許可證發佈，擅長以下任務：

• 威脅情報總結（例如，總結CVE詳細信息）
• 漏洞分類（將CVE/CWE映射到MITRE ATT&CK）
• 事件分類協助（提取IoC，總結日誌數據）
• 紅隊模擬提示 和 安全工作流生成

如需瞭解基礎架構、訓練數據、評估結果和已知限制等詳細信息，請參考原始模型卡片，而不是重新上傳或複製整個訓練細節。

🔧 技術細節

量化詳情

• 量化方案：8位，“Q8_0”（8位量化，精度損失最小）
• 工具鏈：通過 llama.cpp的導出工具（提交版本 v0.1.81 或更新）轉換為GGUF格式。
• 生成文件大小：磁盤上約8.54GB（原始GGUF二進制文件）
• 運行時佔用：
  • 內存：使用llama.cpp在CPU上加載時，約需8.54GB的RAM
• 格式：
  • 文件擴展名：.gguf
  • 內部包含：
    1. 元數據（架構、分詞器詞彙表、超參數）
    2. 詞彙表列表（BPE標記）
    3. 以8位量化形式存儲的權重張量（每層和每個頭）
  • 兼容LlamaCpp Python包裝器 (llama_cpp) 和C++命令行界面 (llama.cpp) 推理引擎

📦 安裝指南

在Mac上安裝llama.cpp

使用Homebrew：

brew install llama-cpp

或者從頭開始安裝：

# 安裝依賴項
brew install cmake

# 克隆並構建llama.cpp
git clone https://github.com/ggml-org/llama.cpp.git
cd llama.cpp
make

# 添加到PATH（可選）
sudo cp llama-cli /usr/local/bin/

💻 使用示例

基礎用法

llama-cli -m foundation-sec-8b-q8_0.gguf -p "CVE-2021-44228 is a remote code execution flaw in Apache Log4j2 via unsafe JNDI lookups (\"Log4Shell\"). The CWE is CWE-502.\n\nCVE-2017-0144 is a remote code execution vulnerability in Microsoft's SMBv1 server (\"EternalBlue\") due to a buffer overflow. The CWE is CWE-119.\n\nCVE-2014-0160 is an information-disclosure bug in OpenSSL's heartbeat extension (\"Heartbleed\") due to out-of-bounds reads. The CWE is CWE-125.\n\nCVE-2017-5638 is a remote code execution issue in Apache Struts 2's Jakarta Multipart parser stemming from improper input validation of the Content-Type header. The CWE is CWE-20.\n\nCVE-2019-0708 is a remote code execution vulnerability in Microsoft's Remote Desktop Services (\"BlueKeep\") triggered by a use-after-free. The CWE is CWE-416.\n\nCVE-2015-10011 is a vulnerability about OpenDNS OpenResolve improper log output neutralization. The CWE is" -n 128

📚 詳細文檔

參考資料

1. 原始模型卡片： fdtn-ai/Foundation-Sec-8B （2025年4月28日） – 在網絡安全數據上對LLaMA 3.1-8B進行持續預訓練。
2. Llama-cpp GGUF量化： Ggerganov, J. (2022). Llama.cpp: Llama inference in pure C/C++/Assembly/GGUF. GitHub倉庫。
3. ZeroQuant： Yao, Z. 等人 (2022). "ZeroQuant: Efficient and Affordable Post-Training Quantization for Large-Scale Transformers." arXiv: 2206.01861。
4. SmoothQuant： Xiao, G. 等人 (2022). "SmoothQuant: Accurate and Efficient Post-Training Quantization for Large Language Models." arXiv: 2211.10438。

📄 許可證

本模型遵循Apache 2.0許可證（與基礎模型相同）。

⚠️ 重要提示

如需瞭解使用方法、量化細節或許可證條款相關問題，請在Hugging Face倉庫中創建一個問題，或聯繫 paulkass@cisco.com。