Cybert CyNER

🚀 Cyber-ThreaD/CyBERT-CyNER

このモデルは、CyNERデータセットでSynamicTechnologies/CYBERTをファインチューニングしたバージョンです。評価セットと予測セットで以下の結果を達成しています。

🚀 クイックスタート

このモデルは、特定のサイバーセキュリティタスクにおいて、オリジナルのモデルよりも高い性能を発揮します。以下に、評価セットと予測セットでの結果を示します。

評価セットの結果

• 損失: 0.2405
• 適合率: 0.4671
• 再現率: 0.2810
• F1値: 0.3509
• 正解率: 0.9568

予測セットの結果

• 損失: 0.2747
• 適合率: 0.5442
• 再現率: 0.3483
• F1値: 0.4248
• 正解率: 0.9471

📚 ドキュメント

モデルの説明

詳細な情報は後日提供予定です。

想定される用途と制限

詳細な情報は後日提供予定です。

学習と評価データ

詳細な情報は後日提供予定です。

学習手順

学習ハイパーパラメータ

学習中に使用されたハイパーパラメータは以下の通りです。

• 学習率: 2e-05
• 学習バッチサイズ: 8
• 評価バッチサイズ: 8
• シード: 42
• オプティマイザ: Adam (betas=(0.9,0.999), epsilon=1e-08)
• 学習率スケジューラの種類: linear
• エポック数: 10.0

学習結果

フレームワークのバージョン

• Transformers 4.36.0.dev0
• Pytorch 2.1.0+cu118
• Datasets 2.14.6
• Tokenizers 0.14.1

引用と著者

このモデルを使用する場合は、以下の論文を引用してください。

@inproceedings{deka2024attacker,
  title={AttackER: Towards Enhancing Cyber-Attack Attribution with a Named Entity Recognition Dataset},
  author={Deka, Pritam and Rajapaksha, Sampath and Rani, Ruby and Almutairi, Amirah and Karafili, Erisa},
  booktitle={International Conference on Web Information Systems Engineering},
  pages={255--270},
  year={2024},
  organization={Springer}
}