finetuned-bert-base-10pct开源实体识别模型 - 高效识别网络安全多种实体类型

首页

Finetuned Bert Base 10pct

由 cynthiachan 开发

基于bert-base-cased微调的实体识别模型，擅长识别网络安全相关的多种实体类型

序列标注

Transformers

开源协议:Apache-2.0 #威胁情报实体识别 #高精度文件路径检测 #网络安全实体抽取

下载量 97

发布时间 : 7/15/2022

模型简介

该模型是在bert-base-cased基础上，使用FeedRef_10pct数据集进行微调的实体识别模型，主要用于识别网络安全文本中的各类实体，如攻击ID、CVE编号、域名等。

模型特点

多类型实体识别

能够识别网络安全领域的多种实体类型，包括攻击ID、CVE编号、文件路径等

高精度识别

在AttackID等关键实体上达到100%的F1值，整体F1值达到0.7583

BERT基础架构

基于成熟的bert-base-cased架构，具有良好的迁移学习能力

模型能力

网络安全文本分析

多类型实体识别

文本分类

信息提取

使用案例

网络安全分析

威胁情报报告分析

从安全报告中提取关键实体信息

可准确识别攻击ID、CVE编号等关键信息

日志分析

分析服务器日志中的可疑活动

可识别恶意文件路径、IP地址等实体

安全研究

漏洞研究

从技术文档中提取漏洞相关信息

可准确识别CVE编号和相关技术细节

🚀 训练模型

本模型是基于 bert-base-cased 在 cynthiachan/FeedRef_10pct 数据集上进行微调得到的版本。它在评估集上取得了以下结果：

损失值：0.1291
攻击 ID 准确率：1.0
攻击 ID 召回率：1.0
攻击 ID F1 值：1.0
攻击 ID 数量：6
CVE 准确率：0.8333
CVE 召回率：0.9091
CVE F1 值：0.8696
CVE 数量：11
防御威胁准确率：0.0
防御威胁召回率：0.0
防御威胁 F1 值：0.0
防御威胁数量：2
域名准确率：0.7826
域名召回率：0.7826
域名 F1 值：0.7826
域名数量：23
电子邮件准确率：0.6667
电子邮件召回率：0.6667
电子邮件 F1 值：0.6667
电子邮件数量：3
文件路径准确率：0.6766
文件路径召回率：0.8242
文件路径 F1 值：0.7432
文件路径数量：165
主机名准确率：1.0
主机名召回率：0.9167
主机名 F1 值：0.9565
主机名数量：12
IPv4 准确率：0.8333
IPv4 召回率：0.8333
IPv4 F1 值：0.8333
IPv4 数量：12
MD5 准确率：0.7246
MD5 召回率：0.9615
MD5 F1 值：0.8264
MD5 数量：52
SHA1 准确率：0.0667
SHA1 召回率：0.1429
SHA1 F1 值：0.0909
SHA1 数量：7
SHA256 准确率：0.6780
SHA256 召回率：0.9091
SHA256 F1 值：0.7767
SHA256 数量：44
URI 准确率：0.0
URI 召回率：0.0
URI F1 值：0.0
URI 数量：1
总体准确率：0.6910
总体召回率：0.8402
总体 F1 值：0.7583
总体精度：0.9725

📚 详细文档

训练过程

训练超参数

训练过程中使用了以下超参数：

学习率：5e - 05
训练批次大小：8
评估批次大小：8
随机种子：42
优化器：Adam（β1 = 0.9，β2 = 0.999，ε = 1e - 08）
学习率调度器类型：线性
训练轮数：3.0

训练结果

训练损失	轮数	步数	验证损失	攻击 ID 准确率	攻击 ID 召回率	攻击 ID F1 值	攻击 ID 数量	CVE 准确率	CVE 召回率	CVE F1 值	CVE 数量	防御威胁数量	域名准确率	域名召回率	域名 F1 值	域名数量	电子邮件准确率	电子邮件召回率	电子邮件 F1 值	电子邮件数量	文件路径准确率	文件路径召回率	文件路径 F1 值	文件路径数量	主机名准确率	主机名召回率	主机名 F1 值	主机名数量	IPv4 准确率	IPv4 召回率	IPv4 F1 值	IPv4 数量	MD5 准确率	MD5 召回率	MD5 F1 值	MD5 数量	SHA1 准确率	SHA1 召回率	SHA1 F1 值	SHA1 数量	SHA256 准确率	SHA256 召回率	SHA256 F1 值	SHA256 数量	URI 数量	总体准确率	总体召回率	总体 F1 值	总体精度
0.3943	0.37	500	0.2881	0.0	0.0	0.0	6	0.0	0.0	0.0	11	2	0.0	0.0	0.0	23	0.0	0.0	0.0	3	0.1138	0.2	0.1451	165	0.0692	0.9167	0.1287	12	0.4706	0.6667	0.5517	12	0.75	0.9231	0.8276	52	0.0	0.0	0.0	7	0.5694	0.9318	0.7069	44	1	0.2342	0.4172	0.3	0.9360
0.1987	0.75	1000	0.1722	0.5	1.0	0.6667	6	1.0	1.0	1.0	11	2	0.0	0.0	0.0	23	0.0	0.0	0.0	3	0.4779	0.6545	0.5524	165	0.25	0.6667	0.3636	12	0.6923	0.75	0.7200	12	0.6364	0.9423	0.7597	52	0.0	0.0	0.0	7	0.6545	0.8182	0.7273	44	1	0.5136	0.6716	0.5821	0.9529
0.1595	1.12	1500	0.1346	0.8571	1.0	0.9231	6	1.0	1.0	1.0	11	2	0.4286	0.5217	0.4706	23	0.0	0.0	0.0	3	0.5797	0.7273	0.6452	165	0.44	0.9167	0.5946	12	0.3929	0.9167	0.55	12	0.6364	0.9423	0.7597	52	0.0	0.0	0.0	7	0.78	0.8864	0.8298	44	1	0.5768	0.7663	0.6582	0.9658
0.118	1.5	2000	0.1436	1.0	1.0	1.0	6	1.0	1.0	1.0	11	2	0.6087	0.6087	0.6087	23	0.0	0.0	0.0	3	0.6101	0.8061	0.6945	165	0.9091	0.8333	0.8696	12	0.7273	0.6667	0.6957	12	0.7869	0.9231	0.8496	52	0.2143	0.4286	0.2857	7	0.7407	0.9091	0.8163	44	1	0.6675	0.8077	0.7309	0.9686
0.1198	1.87	2500	0.1385	1.0	1.0	1.0	6	0.7692	0.9091	0.8333	11	2	0.85	0.7391	0.7907	23	0.0	0.0	0.0	3	0.6390	0.7939	0.7081	165	1.0	0.8333	0.9091	12	0.5333	0.6667	0.5926	12	0.7778	0.9423	0.8522	52	0.3333	0.5714	0.4211	7	0.8571	0.9545	0.9032	44	1	0.6995	0.8195	0.7548	0.9687
0.0742	2.25	3000	0.1291	1.0	1.0	1.0	6	0.8333	0.9091	0.8696	11	2	0.7826	0.7826	0.7826	23	0.6667	0.6667	0.6667	3	0.6766	0.8242	0.7432	165	1.0	0.9167	0.9565	12	0.8333	0.8333	0.8333	12	0.7246	0.9615	0.8264	52	0.0667	0.1429	0.0909	7	0.6780	0.9091	0.7767	44	1	0.6910	0.8402	0.7583	0.9725
0.0687	2.62	3500	0.1385	1.0	1.0	1.0	6	1.0	1.0	1.0	11	2	0.8077	0.9130	0.8571	23	1.0	1.0	1.0	3	0.7746	0.8121	0.7929	165	0.7333	0.9167	0.8148	12	0.7143	0.8333	0.7692	12	0.96	0.9231	0.9412	52	0.4444	0.5714	0.5	7	0.8113	0.9773	0.8866	44	1	0.8083	0.8609	0.8338	0.9737
0.0652	3.0	4000	0.1299	1.0	1.0	1.0	6	1.0	1.0	1.0	11	2	0.8077	0.9130	0.8571	23	1.0	1.0	1.0	3	0.7553	0.8606	0.8045	165	0.8462	0.9167	0.8800	12	0.7143	0.8333	0.7692	12	0.8571	0.9231	0.8889	52	0.75	0.8571	0.8000	7	0.8723	0.9318	0.9011	44	1	0.8038	0.8846	0.8423	0.9772