Foundation Sec 8B Instruct

🚀 Foundation-Sec-8B - 模型卡片

Foundation-Sec-8B（Llama-3.1-FoundationAI-SecurityLLM-base-8B）是一款专为网络安全应用定制的开放权重、80亿参数的基础语言模型。它在Llama-3.1-8B模型的基础上，通过在精心策划的网络安全特定文本语料库上进行持续预训练而得到增强。该语料库涵盖了威胁情报报告、漏洞数据库、事件响应文档和安全标准等内容。此模型经过训练，能够理解多个安全领域的安全概念、术语和实践。它旨在作为一个适应特定领域的基础模型，用于威胁检测、漏洞评估、安全自动化和攻击模拟等应用。Foundation-Sec-8B使组织能够构建可本地部署的人工智能驱动的安全工具，减少对基于云的人工智能服务的依赖，同时在与安全相关的任务上保持高性能。

我在尝试进行额外的训练迭代时遇到了问题。目前，这个模型无法正常工作。

📚 模型信息

✨ 主要特性

预期用例

Foundation-Sec-8B专为构建人工智能驱动的安全工作流程和应用程序的安全从业者、研究人员和开发人员而设计。它针对以下三个核心用例类别进行了优化：

• SOC加速：自动化分类、总结、案例记录生成和证据收集。
• 主动威胁防御：模拟攻击、确定漏洞优先级、映射TTP（战术、技术和程序）以及建模攻击者行为。
• 工程支持：提供安全协助、验证配置、评估合规性证据并改善安全态势。

该模型旨在部署在优先考虑数据安全、法规合规性和运营控制的本地环境中。

下游应用

Foundation-Sec-8B可直接用于与安全相关的语言任务，并作为在各种网络安全工作流程中进行微调的强大起点。下游应用示例包括：

• 总结
  • 总结检测手册和事件报告
  • 将分散的分析师笔记整合为结构化的案例总结
• 分类
  • 将威胁映射到MITRE ATT&CK技术
  • 根据上下文风险确定漏洞优先级
  • 对与安全相关的电子邮件和泄露的文件内容进行分类
• 命名实体识别
  • 从文档中提取合规性证据
  • 根据技术手册构建网络行为配置文件
• 问答
  • 协助SOC分析师进行警报分类和调查
  • 响应云安全和软件合规性查询
• 推理和文本生成
  • 生成红队攻击计划和威胁模型
  • 在主动调查中预测攻击者的下一步行动
  • 用上下文洞察丰富漏洞扫描结果

有关微调Foundation-Sec-8B的问题或协助，请联系 Paul Kassianik（paulkass@cisco.com）或 Dhruv Kedia（dkedia@cisco.com）。

非预期用例

以下使用情况不在预期范围内，既不推荐也不是预期的用例：

1. 生成有害内容 - 该模型不应用于：
   • 生成恶意软件或其他恶意代码
   • 创建网络钓鱼内容或社会工程脚本
   • 制定针对特定组织的攻击计划
   • 在没有合法安全研究目的的情况下设计漏洞利用技术
2. 无人工监督的关键安全决策 - 该模型不应用于：
   • 未经人工审核的自主安全决策
   • 无专家监督的关键基础设施保护
   • 未经人工验证的安全合规性最终判定
   • 未经测试的自主漏洞修复
3. 法律或医疗建议 - 该模型不具备提供以下建议的资格：
   • 有关安全法规、合规性要求或知识产权纠纷的法律建议
   • 有关安全问题的法律建议，这些问题需要参考法律法规、先例或判例法才能提供法律建议
   • 有关安全事件对健康影响的医疗建议
4. 非安全用例 - 该模型专门针对网络安全进行了优化，在一般任务上的表现可能不如为更广泛应用训练的模型。
5. 违反法律法规 - 任何违反适用法律法规的使用。

📦 安装指南

使用以下代码开始使用该模型：

# 导入所需的库
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

# 加载模型和分词器
tokenizer = AutoTokenizer.from_pretrained("fdtn-ai/Foundation-Sec-8B")
model = AutoModelForCausalLM.from_pretrained("fdtn-ai/Foundation-Sec-8B")

# 示例：将CWE与CVE ID匹配
prompt="""CVE-2021-44228是Apache Log4j2中通过不安全的JNDI查找（“Log4Shell”）实现的远程代码执行漏洞。CWE是CWE-502。

CVE-2017-0144是Microsoft的SMBv1服务器（“EternalBlue”）中由于缓冲区溢出导致的远程代码执行漏洞。CWE是CWE-119。

CVE-2014-0160是OpenSSL的心跳扩展（“Heartbleed”）中的信息泄露漏洞，导致越界读取。CWE是CWE-125。

CVE-2017-5638是Apache Struts 2的Jakarta Multipart解析器中由于对Content-Type头的输入验证不当而导致的远程代码执行问题。CWE是CWE-20。

CVE-2019-0708是Microsoft的远程桌面服务（“BlueKeep”）中由于使用后释放而触发的远程代码执行漏洞。CWE是CWE-416。

CVE-2015-10011是关于OpenDNS OpenResolve不当日志输出中和的漏洞。CWE是"""

# 对输入进行分词
inputs = tokenizer(prompt, return_tensors="pt")

# 生成响应
outputs = model.generate(
    inputs["input_ids"],
    max_new_tokens=3,
    do_sample=True,
    temperature=0.1,
    top_p=0.9,
)

# 解码并打印响应
response = tokenizer.decode(outputs[0], skip_special_tokens=True)
response = response.replace(prompt, "").strip()
print(response)

🔧 技术细节

训练数据

Foundation-sec-8B在由思科的Foundation AI团队内部精心策划的约51亿个网络安全特定数据令牌上进行了预训练。该数据集是从网络上的公共来源精心收集的。

预训练语料库是通过一个多阶段的管道构建的，包括大规模网络爬取、相关性过滤、去重和质量过滤。

数据截止日期：2025年4月10日。

更多详细方法可在技术报告中找到。

训练设置

Foundation-sec-8B基于Llama 3.1 8B架构。预训练是在思科Foundation AI的内部计算集群上进行的。

关键训练细节：

• 持续预训练以实现网络安全专业化
• 4096令牌序列长度
• 优化器：AdamW

更多详细方法可在技术报告中找到。

评估

Foundation-sec-8B在网络安全和一般推理任务上进行了基准测试，使用标准化的5次提示设置（温度 = 0.3）。

基准测试概述：

• CTI-MCQA：2500道多项选择题，测试跨MITRE ATT&CK、NIST、GDPR等框架以及威胁情报最佳实践的网络安全知识。
• CTI-RCM：900多个漏洞根本原因映射示例，将CVE与CWE类别关联起来，评估对安全弱点的深入理解。

关键亮点：

• 在特定安全基准测试中比Llama-3.1-8B高出3到9分。
• 在网络威胁情报任务上的表现相当或优于Llama-3.1-70B。
• 尽管针对网络安全进行了专业化，但在一般语言推理（MMLU）方面的下降最小（约2%）。

有关完整的基准测试细节和评估方法，请参考技术报告。

📚 详细文档

局限性

Foundation-Sec-8B有几个用户应该注意的局限性：

1. 特定领域知识局限性：
   • Foundation-Sec-8B可能不熟悉其训练截止日期之后发布的最新漏洞、利用方法或新型攻击向量或安全技术。
   • 对特定或专有安全系统或工具的了解可能有限。
2. 潜在偏差：
   • 该模型可能反映网络安全文献和文档中存在的偏差。
   • 该模型可能是基于已知的攻击模式进行训练的，难以识别新型攻击向量。
   • 安全实践和建议可能偏向某些技术生态系统。
   • 网络安全方法中可能存在地理和文化偏差。
3. 安全风险：
   • 该模型无法验证用户的身份或意图。
   • 对抗性提示技术可能会绕过安全机制。
   • 如果没有实施适当的提示护栏，该模型可能会无意中提供可能被滥用的信息。
4. 上下文盲目性：
   • 该模型可能难以理解系统、用户和数据之间的复杂相互关系，以提供准确的上下文。
5. 技术局限性：
   • 性能因提示中对安全概念的描述方式而异。
   • 在没有明确解释的情况下，可能无法完全理解复杂的多步骤安全场景。
   • 无法访问外部系统或主动扫描环境。
   • 无法独立验证其输出的事实准确性。
6. 伦理考虑：
   • 网络安全知识的两用性质需要仔细考虑适当的用例。

建议

为了解决Foundation-Sec-8B的局限性，我们建议：

1. 人工监督：
   • 在实施模型输出之前，始终让合格的安全专业人员进行审核。
   • 将该模型用作辅助工具，而不是替代专家的人类判断。
   • 对安全关键应用实施人工参与的方法。
2. 系统设计保障：
   • 为使用该模型构建的应用程序实施额外的验证层。
   • 考虑限制模型执行潜在有害操作（过度自主性）能力的架构约束。
   • 在具有适当访问控制的环境中部署该模型。
3. 提示工程：
   • 使用精心设计的提示，鼓励符合道德的网络安全实践。
   • 包括有关负责任披露和道德黑客原则的明确说明。
   • 构建交互以尽量减少无意中产生有害输出的风险。
4. 知识补充：
   • 用最新的网络安全信息源和数据库补充该模型。
   • 为当前的威胁情报源实施检索增强生成。
5. 使用政策：
   • 为使用该模型的应用程序制定并执行明确的可接受使用政策。
   • 对高风险应用程序实施监控和审计。
   • 为最终用户创建有关该模型局限性的文档。

📄 许可证

本模型采用Apache 2.0许可证。