Pangolin Guard Base

🚀 PangolinGuard-Base

LLMアプリケーションは、プロンプトインジェクションやジェイルブレイクといった重大なセキュリティ課題に直面しています。これにより、モデルが機密データを漏洩したり、意図した動作から逸脱したりする可能性があります。既存のセーフガードモデルは完全にオープンではなく、コンテキストウィンドウが制限されています（例えば、LlamaGuardでは512トークンのみ）。

Pangolin Guard は、悪意のあるプロンプト（つまり、プロンプトインジェクション攻撃）を識別する軽量モデルであるModernBERT (Base) です。

🤗 Tech-Blog | GitHub Repo

✨ 主な機能

想定される使用例

• AIエージェントや会話型インターフェースに、自前でホストできる低コストのプロンプトインジェクション攻撃防御メカニズムを追加する。

📚 ドキュメント

評価データ

プロンプトの安全性と悪意のある入力検出を対象とした特殊なベンチマークのサブセットからの未見データで評価され、過剰防御の挙動もテストされました。

• NotInject: プロンプトインジェクション攻撃で一般的なトリガーワードを含んだ良性入力を含めることで、プロンプトガードモデルの過剰防御を測定するように設計されています。
• BIPIA: 間接的なプロンプトインジェクション攻撃によるプライバシー侵害の試みや境界を越えるクエリを評価します。
• Wildguard-Benign: 正当であるが潜在的に曖昧なプロンプトを表します。
• PINT: 特に微妙なプロンプトインジェクション、ジェイルブレイク、および悪意と誤認される可能性のある良性プロンプトを評価します。

推論

from transformers import pipeline

classifier = pipeline("text-classification", "dcarpintero/pangolin-guard-base")
text = "your input text"
output = classifier(text)

学習手順

学習ハイパーパラメータ

学習中に以下のハイパーパラメータが使用されました。

• learning_rate: 5e-05
• train_batch_size: 64
• eval_batch_size: 32
• seed: 42
• optimizer: OptimizerNames.ADAMW_TORCH_FUSEDを使用し、betas=(0.9,0.999)、epsilon=1e-08、optimizer_args=追加のオプティマイザ引数なし
• lr_scheduler_type: linear
• num_epochs: 2

学習結果

フレームワークバージョン

• Transformers 4.50.0
• Pytorch 2.6.0+cu124
• Datasets 3.4.1
• Tokenizers 0.21.1

📄 ライセンス

このプロジェクトは、Apache-2.0ライセンスの下で提供されています。