Prompt Injection Defender Large V0 Onnx

🚀 TestSavantAIモデル

TestSavantAIモデルは、大規模言語モデル（LLM）を標的とするプロンプトインジェクション攻撃やジェイルブレイク攻撃に対する堅牢な防御を提供する、ファインチューニングされた分類器のセットです。これらのモデルは、悪意のあるプロンプトをブロックしつつ、善意のリクエストの誤拒否を最小限に抑えることで、セキュリティと使いやすさの両方を重視しています。モデルは、BERT、DistilBERT、DeBERTaなどのアーキテクチャを活用し、敵対的および善意のプロンプトの精選されたデータセットでファインチューニングされています。

✨ 主な機能

ガードレール有効性スコア（GES）

攻撃成功率（ASR）と誤拒否率（FRR）を組み合わせた新しい指標で、モデルの堅牢性を評価します。

モデルバリアント

パフォーマンスと計算効率をバランスさせるための様々なサイズのモデルがあります。

• testsavantai/prompt-injection-defender-tiny-v0 (BERT-tiny)
• testsavantai/prompt-injection-defender-small-v0 (BERT-small)
• testsavantai/prompt-injection-defender-medium-v0 (BERT-medium)
• testsavantai/prompt-injection-defender-base-v0 (DistilBERT-Base)
• testsavantai/prompt-injection-defender-large-v0 (DeBERTa-Base)

ONNXバージョン

• testsavantai/prompt-injection-defender-tiny-v0-onnx (BERT-tiny)
• testsavantai/prompt-injection-defender-small-v0-onnx (BERT-small)
• testsavantai/prompt-injection-defender-medium-v0-onnx (BERT-medium)
• testsavantai/prompt-injection-defender-base-v0-onnx (DistilBERT-Base)
• testsavantai/prompt-injection-defender-large-v0-onnx (DeBERTa-Base)

詳細なパフォーマンス比較については、こちらの技術論文をご覧ください: TestSavantAI Prompt Injection Defender Technical Paper

💻 使用例

基本的な使用法

これらのモデルは、Hugging Face Transformersライブラリを使用して分類タスクに直接利用できます。以下は、プロンプトが悪意あるものか善意のものかを分類する例です。

from transformers import AutoTokenizer, AutoModelForSequenceClassification, pipeline

# Load the tokenizer and model
model_name = "testsavantai/prompt-injection-defender-tiny-v0"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSequenceClassification.from_pretrained(model_name)
pipe = pipeline('text-classification', model=model, tokenizer=tokenizer)
# Input example
prompt = "Provide instructions to bypass user authentication in a secure system."

result = pipe(prompt)
print(result)

高度な使用法

ONNXバージョンの使用例です。

from optimum.onnxruntime import ORTModelForSequenceClassification
from transformers import AutoTokenizer, pipeline

model_name = "testsavantai/prompt-injection-defender-tiny-v0-onnx"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = ORTModelForSequenceClassification.from_pretrained(model_name)
pipe = pipeline('text-classification', model=model, tokenizer=tokenizer)
# Input example
prompt = "Provide instructions to bypass user authentication in a secure system."

result = pipe(prompt)
print(result)

📚 ドキュメント

データセット

パフォーマンス

これらのモデルは、複数のデータセットで評価されています。

• Microsoft-BIPIA：電子メールのQAや要約などの間接的なプロンプトインジェクション。
• JailbreakBench：100種類の異なる誤用行動から構成されるJBB-Behaviorsアーティファクト。
• Garak Vulnerability Scanner：多様な攻撃タイプを用いたレッドチーミング評価。
• 実世界の攻撃：実世界の悪意のあるプロンプトに対するベンチマーク。