Llama Prompt Guard 2 86M Onnx

🚀 Llama-Prompt-Guard-2-86M-onnx

このリポジトリは、meta-llama/Llama-Prompt-Guard-2-86MをONNXに変換し、量子化したバージョンを提供しています。

🚀 クイックスタート

このリポジトリでは、meta-llama/Llama-Prompt-Guard-2-86MのONNX変換および量子化バージョンを提供しています。以下に、使用方法の基本的な手順を示します。

基本的な使用法

from transformers import AutoTokenizer
from optimum.onnxruntime import ORTModelForSequenceClassification
import numpy as np

# Load model and tokenizer using optimum
model = ORTModelForSequenceClassification.from_pretrained("gravitee-io/Llama-Prompt-Guard-2-86M-onnx", file_name="model.quant.onnx")
tokenizer = AutoTokenizer.from_pretrained("gravitee-io/Llama-Prompt-Guard-2-86M-onnx")

# Tokenize input
text = "Your comment here"
inputs = tokenizer(text, return_tensors="pt", padding=True, truncation=True)

# Run inference
outputs = model(**inputs)
logits = outputs.logits

# Optional: convert to probabilities
probs = 1 / (1 + np.exp(-logits))
print(probs)

✨ 主な機能

• Meta LLaMAを基盤とした分類器を提供しています。
• Hugging Face Transformersを使用してモデルとトークナイザーを読み込みます。
• ONNX形式でモデルをエクスポートし、ONNX Runtimeを使用して推論を行います。

📦 インストール

このREADMEには具体的なインストール手順が記載されていないため、このセクションは省略します。

📚 ドキュメント

構築に使用された技術

• Meta LLaMA：分類器の基盤となるモデル
  • meta-llama/Llama-Prompt-Guard-2-22M
  • meta-llama/Llama-Prompt-Guard-2-86M
• Hugging Face Transformers：モデルとトークナイザーの読み込み
• ONNX：モデルのエクスポートとランタイム形式
• ONNX Runtime：効率的な推論バックエンド

評価データセット

評価には、jackhhao/jailbreak-classification を使用しています。

評価結果

GitHubリポジトリ

完全なソースコード、CLIツール、および評価スクリプトは、公式のGitHubリポジトリ で確認できます。

🔧 技術詳細

このREADMEには具体的な技術詳細が記載されていないため、このセクションは省略します。

📄 ライセンス

このモデルは、Llama4ライセンスの下で提供されています。