Pangolin Guard Base

🚀 穿山甲防護基礎版（PangolinGuard-Base）

大語言模型（LLM）應用在面臨提示注入和越獄攻擊時，面臨著嚴重的安全挑戰。這可能導致模型洩露敏感數據或偏離預期行為。現有的防護模型並非完全開源，且上下文窗口有限（例如，LlamaGuard 僅支持 512 個標記）。

穿山甲防護（Pangolin Guard） 是一款基於 ModernBERT（基礎版）的輕量級模型，能夠有效識別惡意提示（即提示注入攻擊）。

🤗 技術博客 | GitHub 倉庫

🚀 快速開始

推理示例

from transformers import pipeline

classifier = pipeline("text-classification", "dcarpintero/pangolin-guard-base")
text = "your input text"
output = classifier(text)

✨ 主要特性

• 為人工智能代理和對話界面添加一種自託管、低成本的防禦機制，以抵禦提示注入攻擊。

📚 詳細文檔

評估數據

該模型在專門針對提示安全和惡意輸入檢測的基準測試子集的未見數據上進行了評估，同時測試了過度防禦行為：

• NotInject：通過包含豐富的常見於提示注入攻擊的觸發詞的良性輸入，來衡量提示防護模型的過度防禦情況。
• BIPIA：通過間接提示注入攻擊評估隱私侵犯嘗試和邊界突破查詢。
• Wildguard-Benign：代表合法但可能存在歧義的提示。
• PINT：評估特別細微的提示注入、越獄攻擊以及可能被誤識別為惡意的良性提示。

訓練過程

訓練超參數

訓練過程中使用了以下超參數：

• 學習率（learning_rate）：5e-05
• 訓練批次大小（train_batch_size）：64
• 評估批次大小（eval_batch_size）：32
• 隨機種子（seed）：42
• 優化器（optimizer）：使用 OptimizerNames.ADAMW_TORCH_FUSED，β值為(0.9, 0.999)，ε值為 1e-08，無額外優化器參數
• 學習率調度器類型（lr_scheduler_type）：線性
• 訓練輪數（num_epochs）：2

訓練結果

框架版本

• Transformers 4.50.0
• Pytorch 2.6.0+cu124
• Datasets 3.4.1
• Tokenizers 0.21.1

📄 許可證

本項目採用 Apache-2.0 許可證。

📦 模型信息