Elisarcyberaiedge7b LoRA GGUF

🚀 ELISARCyberAIEdge7B-LoRA-GGUF

ELISARCyberAIEdge7B-LoRA-GGUF 是一款專為網絡安全用例設計的離線就緒、量化的 LLaMA 邊緣模型，可有效應對網絡安全風險評估等多種場景。

🚀 快速開始

1. 下載模型文件

# 直接克隆或下載 GGUF 文件：
wget https://huggingface.co/sallani/ELISARCyberAIEdge7B-LoRA-GGUF/resolve/main/elisar_merged.gguf -O elisar_merged.gguf

或者，使用 Hugging Face Hub CLI：

pip install huggingface_hub
huggingface-cli login  # 輸入 HF_TOKEN
huggingface-cli repo clone sallani/ELISARCyberAIEdge7B-LoRA-GGUF
cd ELISARCyberAIEdge7B-LoRA-GGUF
tree
# ├── elisar_merged.gguf
# └── README.md

✨ 主要特性

• 離線就緒：可完全在無網絡環境下運行推理。
• 量化模型：採用 GGUF 格式並可選量化為 Q4_K_M（4 位），適合資源受限設備。
• 邊緣友好：能在 CPU 或低端 GPU 上運行，冷啟動速度快。
• 網絡安全調優：針對網絡安全問題訓練，可進行日誌分析、惡意軟件分類等。
• 體積小巧：量化後的 GGUF 文件小於 5GB。

📦 安裝指南

1. llama.cpp（離線推理）

# 克隆 llama.cpp 倉庫（如果尚未克隆）：
git clone --depth 1 https://github.com/ggml-org/llama.cpp.git
cd llama.cpp

# 支持 GPU 編譯（可選）
make clean
make CMAKE_CUDA=ON CMAKE_CUDA_ARCH=sm75

# 或者僅 CPU 編譯：
# make

2. Python（Transformers） – 可選混合推理

python3 -m venv venv
source venv/bin/activate
pip install torch transformers peft

💻 使用示例

基礎用法

A. 使用 llama.cpp 進行離線推理

cd llama.cpp
./main -m ../ELISARCyberAIEdge7B-LoRA-GGUF/elisar_merged.gguf -c 2048 -b 8 -t 8

B. Python / Transformers + PEFT 推理（混合）

from transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfig
import torch

model_id = "sallani/ELISARCyberAIEdge7B-LoRA-GGUF"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.float16,
    device_map="auto",
)

prompt = "You are a blue-team AI assistant. Analyze the following network log for suspicious patterns: ..."
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")

gen_config = GenerationConfig(
    temperature=0.7,
    top_p=0.9,
    max_new_tokens=256,
)
output_ids = model.generate(**inputs, **gen_config.to_dict())
answer = tokenizer.decode(output_ids[0], skip_special_tokens=True)
print(answer)

📚 詳細文檔

模型概述

ELISARCyberAIEdge7B-LoRA-GGUF 是 Mistral-7B 骨幹的 LoRA 微調、GGUF 量化版本，專為網絡安全和藍隊 AI 場景的邊緣部署而設計。該模型由 Sabri Sallani 博士開發，整合了以下組件：

1. 基礎模型：Mistral-7B-v0.3 (FP16 / BF16)
2. LoRA 適配器：sallani/ELISARCyberAIEdge7B
3. 量化：轉換為 GGUF 格式並可選量化為 Q4_K_M（4 位），便於在資源受限設備上高效推理。

此管道生成一個約 160 MiB 的單個文件 (elisar_merged.gguf)，可使用 llama.cpp 等框架進行離線部署，或通過基於 Torch 的最小推理運行。

文件結構

ELISARCyberAIEdge7B-LoRA-GGUF/
├── elisar_merged.gguf
└── README.md

提示指南

• 使用指令格式：### Instruction: / ### Response:
• 在提示中添加相關日誌/代碼
• 該模型不能替代專業認證分析師

🔧 技術細節

• 基礎模型：Mistral-7B-v0.3（70 億參數）
• LoRA 適配器：sallani/ELISARCyberAIEdge7B
• 量化格式：GGUF Q4_K_M，最終大小約 160 MiB
• 訓練數據：CVEs、SAST、安全日誌、藍隊手冊
• 許可證：Apache 2.0

論文信息

論文標題

ELISAR: An Adaptive Framework for Cybersecurity Risk Assessment Powered by GenAI

作者

• Sabri ALLANI, PhD – AI & 網絡安全專家
• Karam BOU-CHAAYA, PhD – AI & 網絡安全專家
• Helmi RAIS – 全球實踐負責人，Expleo France

日期

2025 年 5 月 31 日

模型倉庫

https://huggingface.co/sallani/ELISARCyberAIEdge7B-LoRA-GGUF

出版物

該研究將由 Springer 出版於以下書籍：
👉 https://link.springer.com/book/9783031935978
🗓️ 預計出版日期：2025 年 7 月 10 日

模型總結

ELISAR 是基於 Mistral-7B 的微調 LoRA 模型，利用檢索增強生成和智能體 AI 能力進行上下文網絡安全風險評估。該模型針對以下實際用例：

• 威脅建模（Blue ELISAR）
• 攻擊用例生成（Red ELISAR）
• GRC 合規自動化（GRC ELISAR）

使用場景

• ISO/IEC 42001 & NIS2 風險評估
• 威脅場景生成
• AI 審計準備和報告
• 安全 AI 系統設計
• ...

📄 許可證

本模型採用 Apache 2.0 許可證。

📜 引用

如果您在研究中使用此模型或參考 ELISAR 框架，請引用：

@incollection{elisar2025,
  author    = {Sabri Sallani and Karam Bou-Chaaya and Helmi Rais},
  title     = {ELISAR: An Adaptive Framework for Cybersecurity Risk Assessment Powered by GenAI},
  booktitle = {Communications in Computer and Information Science (CCIS, volume 2518)},
  publisher = {Springer},
  year      = {2025},
  note      = {To be published on July 10, 2025},
  url       = {https://link.springer.com/book/9783031935978}
}

或者簡單引用：

Sallani, S., Bou-Chaaya, K., & Rais, H. (2025). ELISAR: An Adaptive Framework for Cybersecurity Risk Assessment Powered by GenAI. In Springer Book on AI for Cybersecurity. Publication date: July 10, 2025. https://link.springer.com/book/9783031935978

💬 支持與聯繫

• 🗨️ HF 討論
• 📧 dr.sallani@CyberAI.com
• 🔗 LinkedIn

感謝使用 ELISARCyberAIEdge7B-LoRA-GGUF，助力您的邊緣 AI 安全！