Cybert CyNER

🚀 Cyber-ThreaD/CyBERT-CyNER

本模型是在CyNER數據集上對SynamicTechnologies/CYBERT進行微調後的版本。它在評估集和預測集上都取得了不錯的效果，能夠有效助力網絡安全相關的任務。

🚀 快速開始

本模型是 SynamicTechnologies/CYBERT 在 CyNER 數據集上的微調版本。它在評估集和預測集上分別取得了以下結果：

評估集結果

• 損失值：0.2405
• 精確率：0.4671
• 召回率：0.2810
• F1值：0.3509
• 準確率：0.9568

預測集結果

• 損失值：0.2747
• 精確率：0.5442
• 召回率：0.3483
• F1值：0.4248
• 準確率：0.9471

✨ 主要特性

• 微調優化：基於強大的基礎模型 SynamicTechnologies/CYBERT 進行微調，更適配 CyNER 數據集。
• 多指標評估：在評估集和預測集上均使用了損失值、精確率、召回率、F1值和準確率等多個指標進行評估，全面展示模型性能。

🔧 技術細節

訓練超參數

訓練過程中使用了以下超參數：

• 學習率：2e - 05
• 訓練批次大小：8
• 評估批次大小：8
• 隨機種子：42
• 優化器：Adam（β1 = 0.9，β2 = 0.999，ε = 1e - 08）
• 學習率調度器類型：線性
• 訓練輪數：10.0

訓練結果

框架版本

• Transformers 4.36.0.dev0
• Pytorch 2.1.0+cu118
• Datasets 2.14.6
• Tokenizers 0.14.1

引用與作者

如果您使用了該模型，請引用以下文獻：

@inproceedings{deka2024attacker,
  title={AttackER: Towards Enhancing Cyber-Attack Attribution with a Named Entity Recognition Dataset},
  author={Deka, Pritam and Rajapaksha, Sampath and Rani, Ruby and Almutairi, Amirah and Karafili, Erisa},
  booktitle={International Conference on Web Information Systems Engineering},
  pages={255--270},
  year={2024},
  organization={Springer}
}