🚀 MITRE-v15戰術BERT大小寫敏感模型
這是一個基於mitre-bert-base-cased在MITRE ATT&CK版本15程序數據集上進行微調的模型。該模型在評估數據集上實現了以下指標:
🚀 快速開始
本模型是基於Transformer編碼器的文本分類模型,可用於識別句子在MITRE ATT&CK框架中所屬的戰術。
✨ 主要特性
- 基於MITRE ATT&CK版本15程序數據集對基礎模型進行微調。
- 可用於文本分類任務,識別句子在MITRE ATT&CK框架中的戰術歸屬。
- 一個句子或攻擊可能屬於多種戰術。
📦 安裝指南
暫未提及安裝相關內容,若需使用可參考後續使用示例中的依賴庫安裝。
💻 使用示例
基礎用法
from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch
import numpy as np
model_id = "sarahwei/MITRE-tactic-bert-case-based"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForSequenceClassification.from_pretrained(
model_id,
torch_dtype=torch.bfloat16,
)
question = 'An attacker performs a SQL injection.'
input_ids = tokenizer(question,return_tensors="pt")
outputs = model(**input_ids)
logits = outputs.logits
sigmoid = torch.nn.Sigmoid()
probs = sigmoid(logits.squeeze().cpu())
predictions = np.zeros(probs.shape)
predictions[np.where(probs >= 0.5)] = 1
predicted_labels = [model.config.id2label[idx] for idx, label in enumerate(predictions) if label == 1.0]
📚 詳細文檔
預期用途與限制
可以使用這個微調後的模型進行文本分類。其目標是識別句子在MITRE ATT&CK框架中所屬的戰術。一個句子或一次攻擊可能屬於多種戰術。
請注意,這個模型主要是針對網絡安全的文本分類進行微調的。如果句子與攻擊無關,其性能可能不佳。
訓練過程
訓練參數
屬性 |
詳情 |
學習率 |
5e-05 |
訓練批次大小 |
8 |
評估批次大小 |
8 |
隨機種子 |
0 |
優化器 |
Adam(β1=0.9,β2=0.999,ε=1e-08) |
學習率調度器類型 |
線性 |
訓練輪數 |
10 |
熱身比例 |
0.01 |
權重衰減 |
0.001 |
訓練結果
步驟 |
訓練損失 |
驗證損失 |
F1值 |
ROC AUC值 |
準確率 |
100 |
0.409400 |
0.142982 |
0.740000 |
0.803830 |
0.610000 |
200 |
0.106500 |
0.093503 |
0.818182 |
0.868382 |
0.720000 |
300 |
0.070200 |
0.065937 |
0.893617 |
0.930366 |
0.810000 |
400 |
0.045500 |
0.061865 |
0.892704 |
0.926625 |
0.830000 |
500 |
0.033600 |
0.057814 |
0.902954 |
0.938630 |
0.860000 |
600 |
0.026000 |
0.062982 |
0.894515 |
0.934107 |
0.840000 |
700 |
0.021900 |
0.056275 |
0.904564 |
0.946113 |
0.870000 |
800 |
0.017700 |
0.061058 |
0.887967 |
0.937067 |
0.860000 |
900 |
0.016100 |
0.058965 |
0.890756 |
0.933716 |
0.870000 |
1000 |
0.014200 |
0.055885 |
0.903766 |
0.942372 |
0.880000 |
1100 |
0.013200 |
0.056888 |
0.895397 |
0.937849 |
0.880000 |
1200 |
0.012700 |
0.057484 |
0.895397 |
0.937849 |
0.870000 |
📄 許可證
本項目採用Apache-2.0許可證。
其他信息
屬性 |
詳情 |
模型類型 |
基於微調的文本分類模型 |
訓練數據 |
sarahwei/cyber_MITRE_CTI_dataset |
⚠️ 重要提示
此模型主要針對網絡安全文本分類進行微調,若句子與攻擊無關,性能可能不佳。
💡 使用建議
在使用模型時,確保輸入的文本與網絡攻擊相關,以獲得更好的分類效果。