Foundation Sec 8B

🚀 Foundation-Sec-8B - 模型卡片

Foundation-Sec-8B是一款專為網絡安全應用定製的開源權重、80億參數的基礎語言模型。它基於特定的網絡安全文本語料對Llama-3.1-8B模型進行持續預訓練，使其能夠理解多個安全領域的概念、術語和實踐。該模型可用於構建本地部署的安全工具，減少對雲服務的依賴，同時在安全相關任務中保持高性能。

🚀 快速開始

使用以下代碼開始使用該模型：

# 導入所需庫
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

# 加載模型和分詞器
tokenizer = AutoTokenizer.from_pretrained("fdtn-ai/Foundation-Sec-8B")
model = AutoModelForCausalLM.from_pretrained("fdtn-ai/Foundation-Sec-8B")

# 示例：將CWE與CVE ID匹配
prompt="""CVE-2021-44228是Apache Log4j2中通過不安全的JNDI查找（“Log4Shell”）導致的遠程代碼執行漏洞。對應的CWE是CWE-502。

CVE-2017-0144是Microsoft的SMBv1服務器（“EternalBlue”）中由於緩衝區溢出導致的遠程代碼執行漏洞。對應的CWE是CWE-119。

CVE-2014-0160是OpenSSL的心跳擴展（“Heartbleed”）中導致越界讀取的信息洩露漏洞。對應的CWE是CWE-125。

CVE-2017-5638是Apache Struts 2的Jakarta Multipart解析器中由於對Content-Type頭的輸入驗證不當導致的遠程代碼執行問題。對應的CWE是CWE-20。

CVE-2019-0708是Microsoft的遠程桌面服務（“BlueKeep”）中由於使用後釋放導致的遠程代碼執行漏洞。對應的CWE是CWE-416。

CVE-2015-10011是關於OpenDNS OpenResolve日誌輸出中和不當的漏洞。對應的CWE是"""

# 對輸入進行分詞
inputs = tokenizer(prompt, return_tensors="pt")

# 生成響應
outputs = model.generate(
    inputs["input_ids"],
    max_new_tokens=3,
    do_sample=True,
    temperature=0.1,
    top_p=0.9,
)

# 解碼並打印響應
response = tokenizer.decode(outputs[0], skip_special_tokens=True)
response = response.replace(prompt, "").strip()
print(response)

✨ 主要特性

• 領域適配：通過在網絡安全特定語料上的持續預訓練，能夠理解多個安全領域的概念、術語和實踐。
• 本地部署：支持本地部署，減少對雲服務的依賴，同時在安全相關任務中保持高性能。
• 多用途：可用於威脅檢測、漏洞評估、安全自動化和攻擊模擬等多種安全應用。

📚 詳細文檔

預期用途

預期用例

Foundation-Sec-8B專為安全從業者、研究人員和開發人員設計，用於構建人工智能驅動的安全工作流程和應用程序。它針對以下三個核心用例類別進行了優化：

• SOC加速：自動化分類、總結、案例記錄生成和證據收集。
• 主動威脅防禦：模擬攻擊、確定漏洞優先級、映射TTPs和建模攻擊者行為。
• 工程支持：提供安全協助、驗證配置、評估合規性證據和改善安全態勢。

該模型適用於優先考慮數據安全、法規合規性和運營控制的本地部署環境。

下游應用

Foundation-Sec-8B可直接用於與安全相關的語言任務，並作為在各種網絡安全工作流程中進行微調的強大起點。示例下游應用包括：

• 總結：總結檢測手冊和事件報告，將分散的分析師筆記整合為結構化的案例總結。
• 分類：將威脅映射到MITRE ATT&CK技術，根據上下文風險對漏洞進行優先級排序，對與安全相關的電子郵件和洩露的文件內容進行分類。
• 命名實體識別：從文檔中提取合規性證據，從技術手冊中構建網絡行為配置文件。
• 問答：協助SOC分析師進行警報分類和調查，響應雲安全和軟件合規性查詢。
• 推理和文本生成：生成紅隊攻擊計劃和威脅模型，預測攻擊者在主動調查中的下一步行動，用上下文洞察豐富漏洞掃描結果。

非預期用途

以下使用情況不在預期範圍內，既不推薦也不是預期用例：

• 生成有害內容：模型不應被用於生成惡意軟件或其他惡意代碼、創建網絡釣魚內容或社會工程腳本、制定針對特定組織的攻擊計劃，或在沒有合法安全研究目的的情況下設計漏洞利用技術。
• 無人工監督的關鍵安全決策：模型不應被用於無人工審核的自主安全決策、無專家監督的關鍵基礎設施保護、無人工驗證的安全合規性最終確定，或無測試的自主漏洞修復。
• 法律或醫療建議：模型不具備提供有關安全法規、合規性要求或知識產權糾紛的法律建議，或有關安全問題的法律建議（涉及提供法律建議所需的法規、先例或判例法），或有關安全事件對健康影響的醫療建議的資格。
• 非安全用例：模型專門針對網絡安全進行了優化，在一般任務上的表現可能不如為更廣泛應用而訓練的模型。
• 違反法律法規：任何違反適用法律法規的使用。

訓練與評估

訓練數據

Foundation-sec-8B在約51億個網絡安全特定數據的標記上進行了預訓練，這些數據由思科的Foundation AI團隊內部整理。數據集是從網絡上的公共來源精心收集的。預訓練語料庫是通過一個多階段的管道構建的，包括大規模網絡爬取、相關性過濾、去重和質量過濾。數據截止日期為2025年4月10日。更多詳細方法可在技術報告中找到。

訓練設置

Foundation-sec-8B基於Llama 3.1 8B架構。預訓練在思科Foundation AI的內部計算集群上進行。關鍵訓練細節如下：

• 持續預訓練：針對網絡安全進行專業化訓練。
• 4096標記序列長度。
• 優化器：AdamW。

更多詳細方法可在技術報告中找到。

評估

Foundation-sec-8B在網絡安全和一般推理任務上進行了基準測試，使用標準化的5次提示設置（溫度 = 0.3）。

基準測試概述：

• CTI-MCQA：2500道多項選擇題，測試跨MITRE ATT&CK、NIST、GDPR等框架的網絡安全知識以及威脅情報最佳實踐。
• CTI-RCM：900多個漏洞根本原因映射示例，將CVEs與CWE類別關聯起來，評估對安全弱點的深入理解。

關鍵亮點：

• 在特定安全基準測試中比Llama-3.1-8B高出3至9分。
• 在網絡威脅情報任務上的表現與Llama-3.1-70B相當或更好。
• 儘管針對網絡安全進行了專業化訓練，但在一般語言推理（MMLU）方面的下降幅度最小（約2%）。

有關完整的基準測試細節和評估方法，請參考技術報告。

侷限性

Foundation-Sec-8B存在一些用戶應注意的侷限性：

• 特定領域知識限制：可能不熟悉其訓練截止日期之後發佈的最新漏洞、利用方法、新型攻擊向量或安全技術，對專業或專有安全系統或工具的瞭解可能有限。
• 潛在偏差：模型可能反映安全文獻和文檔中存在的偏差，可能基於已知攻擊模式進行訓練，難以識別新型攻擊向量，安全實踐和建議可能偏向某些技術生態系統，並且可能存在地理和文化方面的安全方法偏差。
• 安全風險：模型無法驗證用戶的身份或意圖，對抗性提示技術可能會繞過安全機制，若未實施適當的提示護欄，模型可能會無意中提供可能被濫用的信息。
• 上下文盲目性：模型可能難以理解系統、用戶和數據之間的複雜相互關係，以提供準確的上下文。
• 技術限制：性能因提示中安全概念的描述方式而異，可能無法在沒有明確解釋的情況下完全理解複雜的多步驟安全場景，無法訪問外部系統或主動掃描環境，無法獨立驗證其輸出的事實準確性。
• 倫理考慮：安全知識的兩用性質需要仔細考慮適當的用例。

建議

為解決Foundation-Sec-8B的侷限性，我們建議：

• 人工監督：在實施模型輸出之前，始終讓合格的安全專業人員進行審查，將模型用作輔助工具，而不是替代專家的人工判斷，在安全關鍵應用中實施人工參與的方法。
• 系統設計保障：為使用此模型構建的應用程序實施額外的驗證層，考慮限制模型執行潛在有害操作（過度自主性）能力的架構約束，在具有適當訪問控制的環境中部署模型。
• 提示工程：使用精心設計的提示，鼓勵符合道德的安全實踐，包括有關負責任披露和道德黑客原則的明確說明，構建交互以最大限度地減少無意中產生有害輸出的風險。
• 知識補充：用最新的安全信息源和數據庫補充模型，為當前的威脅情報源實施檢索增強生成。
• 使用政策：為使用此模型的應用程序制定並執行明確的可接受使用政策，對高風險應用程序實施監控和審計，為最終用戶創建有關模型侷限性的文檔。

🔧 技術細節

訓練數據

Foundation-sec-8B在約51億個網絡安全特定數據的標記上進行了預訓練，這些數據由思科的Foundation AI團隊內部整理。數據集是從網絡上的公共來源精心收集的。預訓練語料庫是通過一個多階段的管道構建的，包括大規模網絡爬取、相關性過濾、去重和質量過濾。數據截止日期為2025年4月10日。更多詳細方法可在技術報告中找到。

訓練設置

Foundation-sec-8B基於Llama 3.1 8B架構。預訓練在思科Foundation AI的內部計算集群上進行。關鍵訓練細節如下：

• 持續預訓練：針對網絡安全進行專業化訓練。
• 4096標記序列長度。
• 優化器：AdamW。

評估

Foundation-sec-8B在網絡安全和一般推理任務上進行了基準測試，使用標準化的5次提示設置（溫度 = 0.3）。

基準測試概述：

• CTI-MCQA：2500道多項選擇題，測試跨MITRE ATT&CK、NIST、GDPR等框架的網絡安全知識以及威脅情報最佳實踐。
• CTI-RCM：900多個漏洞根本原因映射示例，將CVEs與CWE類別關聯起來，評估對安全弱點的深入理解。

關鍵亮點：

• 在特定安全基準測試中比Llama-3.1-8B高出3至9分。
• 在網絡威脅情報任務上的表現與Llama-3.1-70B相當或更好。
• 儘管針對網絡安全進行了專業化訓練，但在一般語言推理（MMLU）方面的下降幅度最小（約2%）。

有關完整的基準測試細節和評估方法，請參考技術報告。

📄 許可證

本模型採用Apache 2.0許可證。