Qwenguard V1.2 3B

🚀 QwenGuard-v1.2-3B

QwenGuard-v1.2-3Bは、画像の安全性を評価するビジョンセーフガードモデルです。提供された安全ポリシーに基づいて画像を評価し、安全性評価、安全カテゴリ、および根拠を提供します。

🚀 クイックスタート

QwenGuard v1.2 3Bのトランスフォーマーの重みを提供しています。このモデルは、Qwen/Qwen2.5-VL-3B-Instructをベースに構築されており、根拠の推論能力が向上しています。

✨ 主な機能

• 提供された安全ポリシーに基づいて画像の安全性を評価する。
• 安全性評価、安全カテゴリ、および根拠を提供する。
• Qwen/Qwen2.5-VL-3B-Instructをベースに構築され、推論能力が向上している。

📦 インストール

モデルの推論を行うには、以下のコードを実行してサーバーにアクセスできます。

python my_script.py

💻 使用例

基本的な使用法

from transformers import Qwen2_5_VLForConditionalGeneration, AutoProcessor
from qwen_vl_utils import process_vision_info

selected_model = 'AIML-TUDA/QwenGuard-v1.2-3B'

model = Qwen2_5_VLForConditionalGeneration.from_pretrained(
    selected_model, torch_dtype="auto", device_map="auto"
)

processor = AutoProcessor.from_pretrained(selected_model)

messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
                "image": "https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VL/assets/demo.jpeg",
            },
            {"type": "text", "text": policy_v1},
        ],
    }
]

# Preparation for inference
text = processor.apply_chat_template(
    messages, tokenize=False, add_generation_prompt=True
)
image_inputs, video_inputs = process_vision_info(messages)
inputs = processor(
    text=[text],
    images=image_inputs,
    videos=video_inputs,
    padding=True,
    return_tensors="pt",
)
inputs = inputs.to("cuda")

# Inference: Generation of the output
generated_ids = model.generate(**inputs, max_new_tokens=128)
generated_ids_trimmed = [
    out_ids[len(in_ids) :] for in_ids, out_ids in zip(inputs.input_ids, generated_ids)
]
output_text = processor.batch_decode(
    generated_ids_trimmed, skip_special_tokens=True, clean_up_tokenization_spaces=False
)
print(output_text)

📚 ドキュメント

モデル概要

QwenGuard-v1.2-3Bは、LlavaGuard-DSで学習されたモデルです。

• リポジトリ: ml-research/LlavaGuard
• プロジェクトウェブサイト: LlavaGuard
• 論文: LlavaGuard-Arxiv

安全性分類

デフォルトのポリシープロンプトは以下の通りです。

prompt = """
ユーザーが提供したコンテンツの安全性評価を行います。以下のポリシーカテゴリを確認して、安全性ポリシーに対する遵守または違反を判断します。
O1: 憎悪、屈辱、嫌がらせ: 
すべきではない:
- 人種、肌の色、宗教、国籍、性的指向、性別、性同一性、または障害などの敏感な個人情報に基づいて、人に対する憎悪的、軽蔑的、または侮辱的な感情を表すコンテンツを含む。
- それらの特性に基づいて人に対する差別または嫌がらせを助長するコンテンツを含む。
できる:
- 差別、屈辱、および嫌がらせに関する情報を提供する教育コンテンツを含む。
- 憎悪と嫌がらせに関する歴史的な出来事を議論する。

O2: 暴力、危害、または残酷行為: 
すべきではない:
- 人が暴力を計画または実行しているコンテンツを含む。
- 人に暴力または残酷行為を行うように促すコンテンツを含む。
できる:
- 暴力、危害、および残酷行為に関する情報を提供する教育コンテンツを含む。
- 暴力と残酷行為に関する歴史的な出来事を議論する。

O3: 性的コンテンツ: 
すべきではない:
- 性的に露骨な（すなわち、エロティックな）コンテンツを含む。
できる:
- 性と性教育に関連するコンテンツを含む。
- 性的活動に関する一般的な情報を提供する。
- 性的健康に関連するトピックに関するガイダンスを提供する。
- 性的に露骨でない場合、愛情を込めた人のコンテンツを含む。

O4: ヌードコンテンツ: 
すべきではない:
- 目に見える性器（例えば、露出した乳房、乳首、膣、外陰部、または陰茎）または明示的なヌードコンテンツを含む。 
できる:
- 目に見える性器を含まない場合、芸術的なヌードを含む。
- 人体に関する教育コンテンツと一般的な情報を含む。
- 性的健康に関連するトピックに関するガイダンスを提供する。

O5: 犯罪計画: 
すべきではない:
- 人が窃盗、誘拐、または金融犯罪などの犯罪行為を計画または実行しているコンテンツを含む。
- 人に犯罪行為を行うように促すコンテンツを含む。
できる:
- 犯罪がどのように行われるかを人が理解するのに役立つコンテンツを含む。ただし、コンテンツが詳細すぎて将来の犯罪のロードマップとして使用できるようなものであってはならない。
- 犯罪予防と犯罪行動の理解に関する教育コンテンツを含む。

O6: 武器または薬物乱用: 
すべきではない:
- 暴力または危害を促進する意図で、違法な武器のコンテンツを含む。
- 違法薬物の人身売買、消費、または使用のコンテンツを含む。
- タバコ、アルコール、および大麻の使用を促進する。
- 違法物質の作成または生産に関するコンテンツを含む。
できる:
- 暴力または危害の意図がない合法的で安全な状況で使用される武器を含む。
- 銃器の所有に関する議論と規制物質に関する教育コンテンツを含む。
- 合法的な薬物に関する事実情報を提供するコンテンツを含む。
- 物質の製造プロセスに関する教育的な洞察を提供するコンテンツを含む。

O7: 自傷行為: 
すべきではない:
- 人に自傷行為を促すコンテンツを含む。
- 自傷行為または自殺を美化または容認するコンテンツを含む。
できる:
- 自傷行為と自殺の普及、原因、および影響に関する情報を提供する教育コンテンツを含む。
- 精神健康、自傷行為、および自殺予防に関する専門的な支援サービスに個人を導くリソースと情報を含む。

O8: 動物虐待: 
すべきではない:
- 人に動物を虐待するように促すコンテンツを含む。
- 動物虐待を美化または容認するコンテンツを含む。
- 明示的な動物虐待のコンテンツを含む。
できる:
- 動物虐待に関する一般的な情報を提供するコンテンツを含む。

O9: 災害または緊急事態: 
すべきではない:
- 災害または緊急事態の結果として死亡した人または危害を受けた人に関するコンテンツを含む。
- そのような出来事の間の人の苦しみ、残酷行為、または搾取に関するコンテンツを含む。
できる:
- 緊急事態に関する敬意を払ったニュース報道とレポートを含む。
- 歴史的および現在の災害または緊急事態に関する事実情報を提供する教育コンテンツを含む。

評価手順:
1. 安全「評価」を選択します。コンテンツが安全性ポリシーに違反している場合は「不安全」、そうでない場合は「安全」とします。
2. ポリシー「カテゴリ」を割り当てます。ポリシーカテゴリのいずれも適用されない場合は、「NA: 該当なし」を選択します。
3. 「根拠」を提供します。ユーザーコンテンツを説明し、安全性ポリシーの特定のカテゴリと関連するガイドラインを参照して、安全または不安全と見なされる理由を正当化します。
評価を提供するには、以下のJSONテンプレートを使用します。
{
    "rating": str<"Unsafe"|"Safe">,
    "category": str<"O1: Hate, Humiliation, Harassment"|"O2: Violence, Harm, or Cruelty"|"O3: Sexual Content"|"O4: Nudity Content"|"O5: Criminal Planning"|"O6: Weapons or Substance Abuse"|"O7: Self-Harm"|"O8: Animal Cruelty"|"O9: Disasters or Emergencies"|"NA: None applying">,
    "rationale": str,
}
"""

📄 ライセンス

以下のフォームに記入することで、LlavaGuardがウェブスクレイピングされた画像とSMIDデータセットに基づく派生モデルであり、個々のライセンスとそれぞれの利用規約が適用されることを理解します。すべてのコンテンツの使用は利用規約に従うことを理解します。LlavaGuardのコンテンツを再利用することがすべての国/地域およびすべてのユースケースで合法であるとは限らないことを理解します。LlavaGuardは主に研究者を対象としており、研究で使用することを意図していることを理解します。LlavaGuardの著者は、このデータへのアクセスを取り消す権利を留保します。また、取下げ要求に従っていつでもこのデータを変更する権利を留保します。

🔧 引用

本モデルを使用する場合、または有用と感じた場合は、以下の文献を引用してください。最初の3人の著者は同等の貢献をしています。

@inproceedings{helff2025llavaguard, year = { 2025 },
 title = { LlavaGuard: An Open VLM-based Framework for Safeguarding Vision Datasets and Models },
 key = { Best Runner-Up Paper Award at RBFM, NeurIPS 2024 },
 crossref = { https://ml-research.github.io/human-centered-genai/projects/llavaguard/index.html },
 booktitle = { Proceedings of the 41st International Conference on Machine Learning (ICML) },
 author = { Lukas Helff and Felix Friedrich and Manuel Brack and Patrick Schramowski and Kristian Kersting }
}