Foundation Sec 8B Instruct

🚀 Foundation-Sec-8B - 模型卡片

Foundation-Sec-8B（Llama-3.1-FoundationAI-SecurityLLM-base-8B）是一款專為網絡安全應用定製的開放權重、80億參數的基礎語言模型。它在Llama-3.1-8B模型的基礎上，通過在精心策劃的網絡安全特定文本語料庫上進行持續預訓練而得到增強。該語料庫涵蓋了威脅情報報告、漏洞數據庫、事件響應文檔和安全標準等內容。此模型經過訓練，能夠理解多個安全領域的安全概念、術語和實踐。它旨在作為一個適應特定領域的基礎模型，用於威脅檢測、漏洞評估、安全自動化和攻擊模擬等應用。Foundation-Sec-8B使組織能夠構建可本地部署的人工智能驅動的安全工具，減少對基於雲的人工智能服務的依賴，同時在與安全相關的任務上保持高性能。

我在嘗試進行額外的訓練迭代時遇到了問題。目前，這個模型無法正常工作。

📚 模型信息

✨ 主要特性

預期用例

Foundation-Sec-8B專為構建人工智能驅動的安全工作流程和應用程序的安全從業者、研究人員和開發人員而設計。它針對以下三個核心用例類別進行了優化：

• SOC加速：自動化分類、總結、案例記錄生成和證據收集。
• 主動威脅防禦：模擬攻擊、確定漏洞優先級、映射TTP（戰術、技術和程序）以及建模攻擊者行為。
• 工程支持：提供安全協助、驗證配置、評估合規性證據並改善安全態勢。

該模型旨在部署在優先考慮數據安全、法規合規性和運營控制的本地環境中。

下游應用

Foundation-Sec-8B可直接用於與安全相關的語言任務，並作為在各種網絡安全工作流程中進行微調的強大起點。下游應用示例包括：

• 總結
  • 總結檢測手冊和事件報告
  • 將分散的分析師筆記整合為結構化的案例總結
• 分類
  • 將威脅映射到MITRE ATT&CK技術
  • 根據上下文風險確定漏洞優先級
  • 對與安全相關的電子郵件和洩露的文件內容進行分類
• 命名實體識別
  • 從文檔中提取合規性證據
  • 根據技術手冊構建網絡行為配置文件
• 問答
  • 協助SOC分析師進行警報分類和調查
  • 響應雲安全和軟件合規性查詢
• 推理和文本生成
  • 生成紅隊攻擊計劃和威脅模型
  • 在主動調查中預測攻擊者的下一步行動
  • 用上下文洞察豐富漏洞掃描結果

有關微調Foundation-Sec-8B的問題或協助，請聯繫 Paul Kassianik（paulkass@cisco.com）或 Dhruv Kedia（dkedia@cisco.com）。

非預期用例

以下使用情況不在預期範圍內，既不推薦也不是預期的用例：

1. 生成有害內容 - 該模型不應用於：
   • 生成惡意軟件或其他惡意代碼
   • 創建網絡釣魚內容或社會工程腳本
   • 制定針對特定組織的攻擊計劃
   • 在沒有合法安全研究目的的情況下設計漏洞利用技術
2. 無人工監督的關鍵安全決策 - 該模型不應用於：
   • 未經人工審核的自主安全決策
   • 無專家監督的關鍵基礎設施保護
   • 未經人工驗證的安全合規性最終判定
   • 未經測試的自主漏洞修復
3. 法律或醫療建議 - 該模型不具備提供以下建議的資格：
   • 有關安全法規、合規性要求或知識產權糾紛的法律建議
   • 有關安全問題的法律建議，這些問題需要參考法律法規、先例或判例法才能提供法律建議
   • 有關安全事件對健康影響的醫療建議
4. 非安全用例 - 該模型專門針對網絡安全進行了優化，在一般任務上的表現可能不如為更廣泛應用訓練的模型。
5. 違反法律法規 - 任何違反適用法律法規的使用。

📦 安裝指南

使用以下代碼開始使用該模型：

# 導入所需的庫
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

# 加載模型和分詞器
tokenizer = AutoTokenizer.from_pretrained("fdtn-ai/Foundation-Sec-8B")
model = AutoModelForCausalLM.from_pretrained("fdtn-ai/Foundation-Sec-8B")

# 示例：將CWE與CVE ID匹配
prompt="""CVE-2021-44228是Apache Log4j2中通過不安全的JNDI查找（“Log4Shell”）實現的遠程代碼執行漏洞。CWE是CWE-502。

CVE-2017-0144是Microsoft的SMBv1服務器（“EternalBlue”）中由於緩衝區溢出導致的遠程代碼執行漏洞。CWE是CWE-119。

CVE-2014-0160是OpenSSL的心跳擴展（“Heartbleed”）中的信息洩露漏洞，導致越界讀取。CWE是CWE-125。

CVE-2017-5638是Apache Struts 2的Jakarta Multipart解析器中由於對Content-Type頭的輸入驗證不當而導致的遠程代碼執行問題。CWE是CWE-20。

CVE-2019-0708是Microsoft的遠程桌面服務（“BlueKeep”）中由於使用後釋放而觸發的遠程代碼執行漏洞。CWE是CWE-416。

CVE-2015-10011是關於OpenDNS OpenResolve不當日誌輸出中和的漏洞。CWE是"""

# 對輸入進行分詞
inputs = tokenizer(prompt, return_tensors="pt")

# 生成響應
outputs = model.generate(
    inputs["input_ids"],
    max_new_tokens=3,
    do_sample=True,
    temperature=0.1,
    top_p=0.9,
)

# 解碼並打印響應
response = tokenizer.decode(outputs[0], skip_special_tokens=True)
response = response.replace(prompt, "").strip()
print(response)

🔧 技術細節

訓練數據

Foundation-sec-8B在由思科的Foundation AI團隊內部精心策劃的約51億個網絡安全特定數據令牌上進行了預訓練。該數據集是從網絡上的公共來源精心收集的。

預訓練語料庫是通過一個多階段的管道構建的，包括大規模網絡爬取、相關性過濾、去重和質量過濾。

數據截止日期：2025年4月10日。

更多詳細方法可在技術報告中找到。

訓練設置

Foundation-sec-8B基於Llama 3.1 8B架構。預訓練是在思科Foundation AI的內部計算集群上進行的。

關鍵訓練細節：

• 持續預訓練以實現網絡安全專業化
• 4096令牌序列長度
• 優化器：AdamW

更多詳細方法可在技術報告中找到。

評估

Foundation-sec-8B在網絡安全和一般推理任務上進行了基準測試，使用標準化的5次提示設置（溫度 = 0.3）。

基準測試概述：

• CTI-MCQA：2500道多項選擇題，測試跨MITRE ATT&CK、NIST、GDPR等框架以及威脅情報最佳實踐的網絡安全知識。
• CTI-RCM：900多個漏洞根本原因映射示例，將CVE與CWE類別關聯起來，評估對安全弱點的深入理解。

關鍵亮點：

• 在特定安全基準測試中比Llama-3.1-8B高出3到9分。
• 在網絡威脅情報任務上的表現相當或優於Llama-3.1-70B。
• 儘管針對網絡安全進行了專業化，但在一般語言推理（MMLU）方面的下降最小（約2%）。

有關完整的基準測試細節和評估方法，請參考技術報告。

📚 詳細文檔

侷限性

Foundation-Sec-8B有幾個用戶應該注意的侷限性：

1. 特定領域知識侷限性：
   • Foundation-Sec-8B可能不熟悉其訓練截止日期之後發佈的最新漏洞、利用方法或新型攻擊向量或安全技術。
   • 對特定或專有安全系統或工具的瞭解可能有限。
2. 潛在偏差：
   • 該模型可能反映網絡安全文獻和文檔中存在的偏差。
   • 該模型可能是基於已知的攻擊模式進行訓練的，難以識別新型攻擊向量。
   • 安全實踐和建議可能偏向某些技術生態系統。
   • 網絡安全方法中可能存在地理和文化偏差。
3. 安全風險：
   • 該模型無法驗證用戶的身份或意圖。
   • 對抗性提示技術可能會繞過安全機制。
   • 如果沒有實施適當的提示護欄，該模型可能會無意中提供可能被濫用的信息。
4. 上下文盲目性：
   • 該模型可能難以理解系統、用戶和數據之間的複雜相互關係，以提供準確的上下文。
5. 技術侷限性：
   • 性能因提示中對安全概念的描述方式而異。
   • 在沒有明確解釋的情況下，可能無法完全理解複雜的多步驟安全場景。
   • 無法訪問外部系統或主動掃描環境。
   • 無法獨立驗證其輸出的事實準確性。
6. 倫理考慮：
   • 網絡安全知識的兩用性質需要仔細考慮適當的用例。

建議

為了解決Foundation-Sec-8B的侷限性，我們建議：

1. 人工監督：
   • 在實施模型輸出之前，始終讓合格的安全專業人員進行審核。
   • 將該模型用作輔助工具，而不是替代專家的人類判斷。
   • 對安全關鍵應用實施人工參與的方法。
2. 系統設計保障：
   • 為使用該模型構建的應用程序實施額外的驗證層。
   • 考慮限制模型執行潛在有害操作（過度自主性）能力的架構約束。
   • 在具有適當訪問控制的環境中部署該模型。
3. 提示工程：
   • 使用精心設計的提示，鼓勵符合道德的網絡安全實踐。
   • 包括有關負責任披露和道德黑客原則的明確說明。
   • 構建交互以儘量減少無意中產生有害輸出的風險。
4. 知識補充：
   • 用最新的網絡安全信息源和數據庫補充該模型。
   • 為當前的威脅情報源實施檢索增強生成。
5. 使用政策：
   • 為使用該模型的應用程序制定並執行明確的可接受使用政策。
   • 對高風險應用程序實施監控和審計。
   • 為最終用戶創建有關該模型侷限性的文檔。

📄 許可證

本模型採用Apache 2.0許可證。