Pangolin Guard Large

🚀 穿山甲衛士大模型（PangolinGuard-Large）

大語言模型（LLM）應用面臨著諸如提示注入和越獄攻擊等嚴重的安全挑戰，這可能導致模型洩露敏感數據或偏離預期行為。現有的防護模型並非完全開源，且上下文窗口有限（例如，LlamaGuard 僅支持 512 個標記）。

穿山甲衛士（Pangolin Guard） 是一款基於 ModernBERT（Large）的輕量級模型，能夠有效識別惡意提示（即提示注入攻擊）。

🤗 技術博客 | GitHub 倉庫

🚀 快速開始

大語言模型應用面臨著提示注入和越獄等關鍵安全挑戰，可能導致模型洩露敏感信息或偏離預期行為。而現有的防護模型存在不夠開源且上下文窗口有限的問題。穿山甲衛士（Pangolin Guard）作為一款輕量級模型，能有效識別惡意提示，為大語言模型應用提供了一種新的安全防護方案。

✨ 主要特性

• 為 AI 代理和對話界面添加自託管、低成本的防禦機制，抵禦提示注入攻擊。

📚 詳細文檔

評估數據

該模型在針對提示安全和惡意輸入檢測的專業基準測試子集的未見數據上進行了評估，同時測試了過度防禦行為：

• NotInject：通過包含在提示注入攻擊中常見的觸發詞的良性輸入，來衡量提示防護模型的過度防禦情況。
• BIPIA：通過間接提示注入攻擊評估隱私侵犯嘗試和邊界試探查詢。
• Wildguard-Benign：代表合法但可能存在歧義的提示。
• PINT：評估特別細微的提示注入、越獄以及可能被誤識別為惡意的良性提示。

訓練過程

訓練超參數

訓練過程中使用了以下超參數：

• 學習率（learning_rate）：5e - 05
• 訓練批次大小（train_batch_size）：64
• 評估批次大小（eval_batch_size）：32
• 隨機種子（seed）：42
• 優化器（optimizer）：使用 OptimizerNames.ADAMW_TORCH_FUSED，β值為 (0.9, 0.999)，ε值為 1e - 08
• 學習率調度器類型（lr_scheduler_type）：線性
• 混合精度（bf16）：True
• 訓練輪數（num_epochs）：2

訓練結果

框架版本

• Transformers 4.48.3
• Pytorch 2.5.1 + cu124
• Datasets 3.3.2
• Tokenizers 0.21.0

📄 許可證

本項目採用 Apache 2.0 許可證。