Bert Finetuned Phishing

🚀 BERT フィッシング検出用ファインチューニング済みモデル

このモデルは、bert-large-uncased を フィッシングデータセット でファインチューニングしたものです。URL、メール、SMSメッセージ、ウェブサイトといった、最も一般的な4つの形式のフィッシングを検出することができます。

評価セットでは、以下の結果を達成しています。

• 損失: 0.1953
• 正解率: 0.9717
• 適合率: 0.9658
• 再現率: 0.9670
• 誤検率: 0.0249

✨ 主な機能

モデルの説明

BERTは、自己教師付き学習により大量の英語データコーパスで事前学習されたトランスフォーマーモデルです。これは、人間によるラベル付けが一切ない生のテキストのみを使用して事前学習されており（このため、大量の公開データを利用できます）、それらのテキストから入力とラベルを自動的に生成するプロセスが行われます。

このモデルは以下の構成を持っています。

• 24層
• 1024の隠れ次元
• 16のアテンションヘッド
• 3億3600万のパラメータ

動機と目的

いくつかのセキュリティレポートによると、フィッシングは最も頻繁に発生し、費用のかかるサイバー攻撃の1つです。このモデルは、個人や組織に対するフィッシング攻撃を効率的かつ正確に防止することを目的としています。そのために、BERTはURL、SMSメッセージ、メール、ウェブサイトを含む多様で堅牢なデータセットで学習されており、通常の範囲を超えた検出能力を拡張し、様々なコンテキストで使用できるようになっています。

学習ハイパーパラメータ

学習時には以下のハイパーパラメータが使用されました。

• 学習率: 2e-05
• 学習バッチサイズ: 16
• 評価バッチサイズ: 16
• 乱数シード: 42
• オプティマイザ: Adam（ベータ=(0.9, 0.999)、イプシロン=1e-08）
• 学習率スケジューラの種類: 線形
• エポック数: 4

学習結果

フレームワークのバージョン

• Transformers 4.34.1
• Pytorch 2.1.1+cu121
• Datasets 2.14.6
• Tokenizers 0.14.1

📄 ライセンス

このモデルは Apache-2.0 ライセンスの下で提供されています。