finetuned-bert-base-10pct開源實體識別模型 - 高效識別網絡安全多種實體類型

首頁

Finetuned Bert Base 10pct

由cynthiachan開發

基於bert-base-cased微調的實體識別模型，擅長識別網絡安全相關的多種實體類型

序列標註

Transformers

開源協議:Apache-2.0 #威脅情報實體識別 #高精度文件路徑檢測 #網絡安全實體抽取

下載量 97

發布時間 : 7/15/2022

模型概述

該模型是在bert-base-cased基礎上，使用FeedRef_10pct數據集進行微調的實體識別模型，主要用於識別網絡安全文本中的各類實體，如攻擊ID、CVE編號、域名等。

模型特點

多類型實體識別

能夠識別網絡安全領域的多種實體類型，包括攻擊ID、CVE編號、文件路徑等

高精度識別

在AttackID等關鍵實體上達到100%的F1值，整體F1值達到0.7583

BERT基礎架構

基於成熟的bert-base-cased架構，具有良好的遷移學習能力

模型能力

網絡安全文本分析

多類型實體識別

文本分類

信息提取

使用案例

網絡安全分析

威脅情報報告分析

從安全報告中提取關鍵實體信息

可準確識別攻擊ID、CVE編號等關鍵信息

日誌分析

分析服務器日誌中的可疑活動

可識別惡意文件路徑、IP地址等實體

安全研究

漏洞研究

從技術文檔中提取漏洞相關信息

可準確識別CVE編號和相關技術細節

🚀 訓練模型

本模型是基於 bert-base-cased 在 cynthiachan/FeedRef_10pct 數據集上進行微調得到的版本。它在評估集上取得了以下結果：

損失值：0.1291
攻擊 ID 準確率：1.0
攻擊 ID 召回率：1.0
攻擊 ID F1 值：1.0
攻擊 ID 數量：6
CVE 準確率：0.8333
CVE 召回率：0.9091
CVE F1 值：0.8696
CVE 數量：11
防禦威脅準確率：0.0
防禦威脅召回率：0.0
防禦威脅 F1 值：0.0
防禦威脅數量：2
域名準確率：0.7826
域名召回率：0.7826
域名 F1 值：0.7826
域名數量：23
電子郵件準確率：0.6667
電子郵件召回率：0.6667
電子郵件 F1 值：0.6667
電子郵件數量：3
文件路徑準確率：0.6766
文件路徑召回率：0.8242
文件路徑 F1 值：0.7432
文件路徑數量：165
主機名準確率：1.0
主機名召回率：0.9167
主機名 F1 值：0.9565
主機名數量：12
IPv4 準確率：0.8333
IPv4 召回率：0.8333
IPv4 F1 值：0.8333
IPv4 數量：12
MD5 準確率：0.7246
MD5 召回率：0.9615
MD5 F1 值：0.8264
MD5 數量：52
SHA1 準確率：0.0667
SHA1 召回率：0.1429
SHA1 F1 值：0.0909
SHA1 數量：7
SHA256 準確率：0.6780
SHA256 召回率：0.9091
SHA256 F1 值：0.7767
SHA256 數量：44
URI 準確率：0.0
URI 召回率：0.0
URI F1 值：0.0
URI 數量：1
總體準確率：0.6910
總體召回率：0.8402
總體 F1 值：0.7583
總體精度：0.9725

📚 詳細文檔

訓練過程

訓練超參數

訓練過程中使用了以下超參數：

學習率：5e - 05
訓練批次大小：8
評估批次大小：8
隨機種子：42
優化器：Adam（β1 = 0.9，β2 = 0.999，ε = 1e - 08）
學習率調度器類型：線性
訓練輪數：3.0

訓練結果

訓練損失	輪數	步數	驗證損失	攻擊 ID 準確率	攻擊 ID 召回率	攻擊 ID F1 值	攻擊 ID 數量	CVE 準確率	CVE 召回率	CVE F1 值	CVE 數量	防禦威脅數量	域名準確率	域名召回率	域名 F1 值	域名數量	電子郵件準確率	電子郵件召回率	電子郵件 F1 值	電子郵件數量	文件路徑準確率	文件路徑召回率	文件路徑 F1 值	文件路徑數量	主機名準確率	主機名召回率	主機名 F1 值	主機名數量	IPv4 準確率	IPv4 召回率	IPv4 F1 值	IPv4 數量	MD5 準確率	MD5 召回率	MD5 F1 值	MD5 數量	SHA1 準確率	SHA1 召回率	SHA1 F1 值	SHA1 數量	SHA256 準確率	SHA256 召回率	SHA256 F1 值	SHA256 數量	URI 數量	總體準確率	總體召回率	總體 F1 值	總體精度
0.3943	0.37	500	0.2881	0.0	0.0	0.0	6	0.0	0.0	0.0	11	2	0.0	0.0	0.0	23	0.0	0.0	0.0	3	0.1138	0.2	0.1451	165	0.0692	0.9167	0.1287	12	0.4706	0.6667	0.5517	12	0.75	0.9231	0.8276	52	0.0	0.0	0.0	7	0.5694	0.9318	0.7069	44	1	0.2342	0.4172	0.3	0.9360
0.1987	0.75	1000	0.1722	0.5	1.0	0.6667	6	1.0	1.0	1.0	11	2	0.0	0.0	0.0	23	0.0	0.0	0.0	3	0.4779	0.6545	0.5524	165	0.25	0.6667	0.3636	12	0.6923	0.75	0.7200	12	0.6364	0.9423	0.7597	52	0.0	0.0	0.0	7	0.6545	0.8182	0.7273	44	1	0.5136	0.6716	0.5821	0.9529
0.1595	1.12	1500	0.1346	0.8571	1.0	0.9231	6	1.0	1.0	1.0	11	2	0.4286	0.5217	0.4706	23	0.0	0.0	0.0	3	0.5797	0.7273	0.6452	165	0.44	0.9167	0.5946	12	0.3929	0.9167	0.55	12	0.6364	0.9423	0.7597	52	0.0	0.0	0.0	7	0.78	0.8864	0.8298	44	1	0.5768	0.7663	0.6582	0.9658
0.118	1.5	2000	0.1436	1.0	1.0	1.0	6	1.0	1.0	1.0	11	2	0.6087	0.6087	0.6087	23	0.0	0.0	0.0	3	0.6101	0.8061	0.6945	165	0.9091	0.8333	0.8696	12	0.7273	0.6667	0.6957	12	0.7869	0.9231	0.8496	52	0.2143	0.4286	0.2857	7	0.7407	0.9091	0.8163	44	1	0.6675	0.8077	0.7309	0.9686
0.1198	1.87	2500	0.1385	1.0	1.0	1.0	6	0.7692	0.9091	0.8333	11	2	0.85	0.7391	0.7907	23	0.0	0.0	0.0	3	0.6390	0.7939	0.7081	165	1.0	0.8333	0.9091	12	0.5333	0.6667	0.5926	12	0.7778	0.9423	0.8522	52	0.3333	0.5714	0.4211	7	0.8571	0.9545	0.9032	44	1	0.6995	0.8195	0.7548	0.9687
0.0742	2.25	3000	0.1291	1.0	1.0	1.0	6	0.8333	0.9091	0.8696	11	2	0.7826	0.7826	0.7826	23	0.6667	0.6667	0.6667	3	0.6766	0.8242	0.7432	165	1.0	0.9167	0.9565	12	0.8333	0.8333	0.8333	12	0.7246	0.9615	0.8264	52	0.0667	0.1429	0.0909	7	0.6780	0.9091	0.7767	44	1	0.6910	0.8402	0.7583	0.9725
0.0687	2.62	3500	0.1385	1.0	1.0	1.0	6	1.0	1.0	1.0	11	2	0.8077	0.9130	0.8571	23	1.0	1.0	1.0	3	0.7746	0.8121	0.7929	165	0.7333	0.9167	0.8148	12	0.7143	0.8333	0.7692	12	0.96	0.9231	0.9412	52	0.4444	0.5714	0.5	7	0.8113	0.9773	0.8866	44	1	0.8083	0.8609	0.8338	0.9737
0.0652	3.0	4000	0.1299	1.0	1.0	1.0	6	1.0	1.0	1.0	11	2	0.8077	0.9130	0.8571	23	1.0	1.0	1.0	3	0.7553	0.8606	0.8045	165	0.8462	0.9167	0.8800	12	0.7143	0.8333	0.7692	12	0.8571	0.9231	0.8889	52	0.75	0.8571	0.8000	7	0.8723	0.9318	0.9011	44	1	0.8038	0.8846	0.8423	0.9772