Elisarcyberaiedge7b LoRA GGUF

🚀 ELISARCyberAIEdge7B-LoRA-GGUF

サイバーセキュリティのユースケース向けのオフライン対応、量子化されたLLaMAエッジモデル

🚀 クイックスタート

1. モデルファイルのダウンロード

# GGUFファイルを直接クローンまたはダウンロードします。
wget https://huggingface.co/sallani/ELISARCyberAIEdge7B-LoRA-GGUF/resolve/main/elisar_merged.gguf -O elisar_merged.gguf

あるいは、Hugging Face Hub CLIを使用します。

pip install huggingface_hub
huggingface-cli login  # HF_TOKENを入力
huggingface-cli repo clone sallani/ELISARCyberAIEdge7B-LoRA-GGUF
cd ELISARCyberAIEdge7B-LoRA-GGUF
tree
# ├── elisar_merged.gguf
# └── README.md

✨ 主な機能

• コンパクト（< 5GB）：量子化されたGGUFファイル
• エッジに適している：CPUまたは低エンドGPUで高速なコールドスタートで実行可能
• サイバーセキュリティに特化：サイバーセキュリティの質問に回答し、ログ分析、マルウェアトリアージ、ブルーチームのプレイブックを実行するようにトレーニングされています。
• オフライン推論：インターネットアクセスなしで完全に実行可能

📦 インストール

1. llama.cpp（オフライン推論）

# llama.cppリポジトリをクローンします（まだクローンしていない場合）。
git clone --depth 1 https://github.com/ggml-org/llama.cpp.git
cd llama.cpp

# GPUサポートでビルドします（オプション）。
make clean
make CMAKE_CUDA=ON CMAKE_CUDA_ARCH=sm75

# または、CPUのみでビルドします。
# make

2. Python（Transformers） – オプションのハイブリッド推論

python3 -m venv venv
source venv/bin/activate
pip install torch transformers peft

💻 使用例

基本的な使用法

A. llama.cppによるオフライン推論

cd llama.cpp
./main -m ../ELISARCyberAIEdge7B-LoRA-GGUF/elisar_merged.gguf -c 2048 -b 8 -t 8

B. Python / Transformers + PEFTによる推論（ハイブリッド）

from transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfig
import torch

model_id = "sallani/ELISARCyberAIEdge7B-LoRA-GGUF"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.float16,
    device_map="auto",
)

prompt = "You are a blue-team AI assistant. Analyze the following network log for suspicious patterns: ..."
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")

gen_config = GenerationConfig(
    temperature=0.7,
    top_p=0.9,
    max_new_tokens=256,
)
output_ids = model.generate(**inputs, **gen_config.to_dict())
answer = tokenizer.decode(output_ids[0], skip_special_tokens=True)
print(answer)

📚 ドキュメント

📄 論文タイトル

ELISAR: An Adaptive Framework for Cybersecurity Risk Assessment Powered by GenAI

👤 著者

• Sabri ALLANI, PhD – AI & サイバーセキュリティ専門家
• Karam BOU-CHAAYA, PhD – AI & サイバーセキュリティ専門家
• Helmi RAIS – Global Practice Lead, Expleo France

📅 日付

2025年5月31日

🔗 モデルリポジトリ

https://huggingface.co/sallani/ELISARCyberAIEdge7B-LoRA-GGUF

📚 出版物

この研究成果は、Springerによって以下の書籍で公開されます。
👉 https://link.springer.com/book/9783031935978
🗓️ 予定公開日: 2025年7月10日

🧠 概要

ELISARは、Mistral-7Bをベースに微調整されたLoRAモデルで、Retrieval-Augmented GenerationとAgentic AI機能を使用した文脈付きのサイバーセキュリティリスク評価に設計されています。このモデルは、以下の実世界のユースケースを対象としています。

• 脅威モデリング（Blue ELISAR）
• 攻撃的なユースケースの生成（Red ELISAR）
• GRCコンプライアンスの自動化（GRC ELISAR）

📌 ユースケース

• ISO/IEC 42001 & NIS2のリスク評価
• 脅威シナリオの生成
• AI監査の準備と報告
• セキュアなAIシステムの設計
• ...

📖 概要

ELISARCyberAIEdge7B-LoRA-GGUFは、LoRAで微調整され、GGUF形式に量子化されたMistral-7Bバックボーンのバージョンで、サイバーセキュリティとブルーチームのAIシナリオでのエッジデプロイメントに特化しています。このモデルは、Sabri Sallani博士によって開発され、以下の要素を統合しています。

📥 モデルファイルのダウンロード:
➡️ ここをクリックしてelisar_merged.ggufをダウンロード
(オフライン推論用の約5.13GBの量子化されたGGUFモデル)

1. ベースモデル: Mistral-7B-v0.3 (FP16 / BF16)
2. LoRAアダプター: sallani/ELISARCyberAIEdge7B
3. 量子化: GGUF形式に変換され、必要に応じてQ4_K_M（4ビット）に量子化され、リソースが制限されたデバイス（NVIDIA T4、デスクトップGPUなど）で効率的な推論が可能です。

このパイプラインは、約160MiBの単一ファイル（elisar_merged.gguf）を生成し、llama.cppのようなフレームワークを使用してオフラインでデプロイするか、最小限のTorchベースの推論を介して実行できます。

📦 ファイル構造

ELISARCyberAIEdge7B-LoRA-GGUF/
├── elisar_merged.gguf
└── README.md

🔧 モデルの詳細とトレーニング

開発者: Sabri Sallani博士 – 人工知能とサイバーセキュリティの専門家

📜 プロンプトガイドライン

• 命令形式を使用してください：### 命令: / ### 応答:
• プロンプトに関連するログ/コードを追加してください。
• 認定されたアナリストの代替品ではありません。

📜 引用

このモデルを使用するか、ELISARフレームワークを研究で参照する場合は、以下のように引用してください。

@incollection{elisar2025,
  author    = {Sabri Sallani and Karam Bou-Chaaya and Helmi Rais},
  title     = {ELISAR: An Adaptive Framework for Cybersecurity Risk Assessment Powered by GenAI},
  booktitle = {Communications in Computer and Information Science (CCIS, volume 2518)},
  publisher = {Springer},
  year      = {2025},
  note      = {To be published on July 10, 2025},
  url       = {https://link.springer.com/book/9783031935978}
}

または、単に以下のように引用します。

Sallani, S., Bou-Chaaya, K., & Rais, H. (2025). ELISAR: An Adaptive Framework for Cybersecurity Risk Assessment Powered by GenAI. In Springer Book on AI for Cybersecurity. 公開日: 2025年7月10日. https://link.springer.com/book/9783031935978

📄 ライセンス

Apache 2.0

💬 サポートと連絡先

• 🗨️ HFディスカッション
• 📧 dr.sallani@CyberAI.com
• 🔗 LinkedIn

ELISARCyberAIEdge7B-LoRA-GGUFをご利用いただき、ありがとうございます – あなたのエッジAIをセキュアに支援します。