Pangolin Guard Large

🚀 PangolinGuard-Large

LLMアプリケーションは、プロンプトインジェクションやジェイルブレイクといった重大なセキュリティ問題に直面しています。これにより、モデルが機密データを漏洩したり、意図した動作から逸脱したりする可能性があります。既存のセーフガードモデルは完全にオープンではなく、コンテキストウィンドウが限られています（例えば、LlamaGuardでは512トークンのみ）。

Pangolin Guard は、悪意のあるプロンプト（すなわち、プロンプトインジェクション攻撃）を識別する軽量なModernBERT（Large）モデルです。

🤗 Tech-Blog | GitHub Repo

🚀 クイックスタート

このセクションでは、Pangolin Guardを使用するための基本的な手順を説明します。

✨ 主な機能

• AIエージェントや会話型インターフェイスに、自前で安価にプロンプトインジェクション攻撃に対する防御機構を追加することができます。

📚 ドキュメント

想定される使用事例

• AIエージェントや会話型インターフェイスに、自前で安価にプロンプトインジェクション攻撃に対する防御機構を追加する。

評価データ

プロンプトの安全性と悪意のある入力検出を対象とした特殊なベンチマークのサブセットからの未見データで評価され、過剰防御の挙動もテストされました。

• NotInject: プロンプトインジェクション攻撃で一般的なトリガーワードを含む良性入力を含めることで、プロンプトガードモデルの過剰防御を測定するように設計されています。
• BIPIA: 間接的なプロンプトインジェクション攻撃を通じたプライバシー侵害の試みや境界を押し広げるクエリを評価します。
• Wildguard-Benign: 正当であるが潜在的に曖昧なプロンプトを表します。
• PINT: 特に微妙なプロンプトインジェクション、ジェイルブレイク、および悪意と誤認される可能性のある良性プロンプトを評価します。

学習手順

学習ハイパーパラメータ

学習中に以下のハイパーパラメータが使用されました。

• learning_rate: 5e-05
• train_batch_size: 64
• eval_batch_size: 32
• seed: 42
• optimizer: betas=(0.9,0.999) および epsilon=1e-08 の OptimizerNames.ADAMW_TORCH_FUSED を使用
• lr_scheduler_type: linear
• bf16: True
• num_epochs: 2

学習結果

フレームワークのバージョン

• Transformers 4.48.3
• Pytorch 2.5.1+cu124
• Datasets 3.3.2
• Tokenizers 0.21.0

📄 ライセンス

このプロジェクトは、Apache-2.0ライセンスの下でライセンスされています。