Foundation Sec 8B Q8 0 GGUF

🚀 Foundation-Sec-8B-Q8_0-GGUFモデルカード

このモデルは、fdtn-ai/Foundation-Sec-8B をllama.cppを使用して8ビット（Q8_0）のGGUFチェックポイントに量子化したものです。元の80億パラメータのモデルが持つサイバーセキュリティの特化機能を維持しつつ、推論時のメモリ使用量を約16GB（BF16）から約8.54GB（Q8_0）に削減しています。

📚 モデルの説明

fdtn-ai/Foundation-Sec-8B-Q8_0-GGUF は、Foundation-Sec-8B の8ビット量子化バージョンです。このモデルは、80億パラメータのLLaMA 3.1ベースのモデルで、サイバーセキュリティに特化したテキスト（CVE、脅威インテリジェンスレポート、エクスプロイトの解説、コンプライアンスガイドなど）のコーパスで継続事前学習されています。ベースモデルは2025年4月28日にApache 2.0ライセンスの下で最初にリリースされ、以下のようなタスクで優れた性能を発揮します。

• 脅威インテリジェンスの要約（例：CVEの詳細を要約する）
• 脆弱性の分類（CVE/CWEをMITRE ATT&CKにマッピングする）
• インシデントトリアージの支援（IoCの抽出、ログデータの要約）
• レッドチームシミュレーションのプロンプト および セキュリティワークフローの生成

トレーニングの詳細全体を再アップロードまたは複製する代わりに、基礎的なアーキテクチャ、トレーニングデータ、評価結果、既知の制限については、元のモデルカードを参照してください。

🔧 量子化の詳細

• 量子化方式: 8ビット、"Q8_0"（精度損失が最小限の8ビット量子化）
• ツールチェーン: llama.cppのエクスポートユーティリティ（コミット v0.1.81 以降）を使用してGGUF形式に変換。
• 生成されるファイルサイズ: ディスク上で約8.54GB（生のGGUFブロブ）
• 実行時のメモリ使用量:
  • メモリ: llama.cppでCPUにロードした場合、約8.54GBのRAM
• フォーマット:
  • ファイル拡張子: .gguf
  • 内部に含まれるもの:
    1. メタデータ（アーキテクチャ、トークナイザーの語彙、ハイパーパラメータ）
    2. 語彙リスト（BPEトークン）
    3. 重みテンソル（各レイヤーとヘッドの）が8ビット量子化形式で保存されている
  • LlamaCpp Pythonラッパー (llama_cpp) およびC++ CLI (llama.cpp) の推論エンジンと互換性があります。

💻 使用例

Macでllama.cppをインストールする

Homebrewを使用する:

brew install llama-cpp

または、最初からインストールする:

# 依存関係をインストールする
brew install cmake

# llama.cppをクローンしてビルドする
git clone https://github.com/ggml-org/llama.cpp.git
cd llama.cpp
make

# PATHに追加する（オプション）
sudo cp llama-cli /usr/local/bin/

モデルを実行する

llama-cli -m foundation-sec-8b-q8_0.gguf -p "CVE-2021-44228 is a remote code execution flaw in Apache Log4j2 via unsafe JNDI lookups (\"Log4Shell\"). The CWE is CWE-502.\n\nCVE-2017-0144 is a remote code execution vulnerability in Microsoft's SMBv1 server (\"EternalBlue\") due to a buffer overflow. The CWE is CWE-119.\n\nCVE-2014-0160 is an information-disclosure bug in OpenSSL's heartbeat extension (\"Heartbleed\") due to out-of-bounds reads. The CWE is CWE-125.\n\nCVE-2017-5638 is a remote code execution issue in Apache Struts 2's Jakarta Multipart parser stemming from improper input validation of the Content-Type header. The CWE is CWE-20.\n\nCVE-2019-0708 is a remote code execution vulnerability in Microsoft's Remote Desktop Services (\"BlueKeep\") triggered by a use-after-free. The CWE is CWE-416.\n\nCVE-2015-10011 is a vulnerability about OpenDNS OpenResolve improper log output neutralization. The CWE is" -n 128

📖 参考文献

1. 元のモデルカード: fdtn-ai/Foundation-Sec-8B (2025年4月28日) – サイバーセキュリティデータでLLaMA 3.1-8Bを継続事前学習。

2. Llama-cpp GGUF量子化: Ggerganov, J. (2022). Llama.cpp: Llama inference in pure C/C++/Assembly/GGUF. GitHubリポジトリ。

3. ZeroQuant: Yao, Z. et al. (2022). "ZeroQuant: Efficient and Affordable Post-Training Quantization for Large-Scale Transformers." arXiv: 2206.01861.

4. SmoothQuant: Xiao, G. et al. (2022). "SmoothQuant: Accurate and Efficient Post-Training Quantization for Large Language Models." arXiv: 2211.10438.

ライセンス: Apache 2.0（ベースモデルと同じ） 問い合わせ先: 使用方法、量子化の詳細、またはライセンス条項に関する質問は、Hugging Faceのリポジトリにイシューを開くか、paulkass@cisco.com に連絡してください。