Codebert Base Malicious URLs

🚀 codebert-base-Malicious_URLs

このモデルは、microsoft/codebert-base をファインチューニングしたバージョンです。評価セットでは以下の結果を達成しています。

• 損失: 0.8225
• 正解率: 0.7279
• 重み付きF1スコア: 0.6508
• マイクロF1スコア: 0.7279
• マクロF1スコア: 0.4611
• 重み付き再現率: 0.7279
• マイクロ再現率: 0.7279
• マクロ再現率: 0.4422
• 重み付き適合率: 0.6256
• マイクロ適合率: 0.7279
• マクロ適合率: 0.5436

📚 ドキュメント

モデルの説明

モデルの作成方法の詳細については、以下のリンクを参照してください。 https://github.com/DunnBC22/NLP_Projects/blob/main/Multiclass%20Classification/Malicious%20URLs/Malicious%20URLs%20-%20CodeBERT.ipynb

想定される用途と制限

このモデルは、技術を用いて複雑な問題を解決する能力を示すために作成されています。

学習と評価データ

データセットのソース: https://www.kaggle.com/datasets/sid321axn/malicious-urls-dataset

入力単語数

クラス別の入力単語数

クラス分布

学習手順

学習ハイパーパラメータ

学習時には以下のハイパーパラメータが使用されました。

• 学習率: 2e-05
• 学習バッチサイズ: 64
• 評価バッチサイズ: 64
• シード値: 42
• オプティマイザ: Adam (betas=(0.9,0.999), epsilon=1e-08)
• 学習率スケジューラの種類: linear
• エポック数: 1

学習結果

フレームワークのバージョン

• Transformers 4.27.4
• Pytorch 2.0.0
• Datasets 2.11.0
• Tokenizers 0.13.3