Llavaguard V1.2 7B OV Hf

🚀 LlavaGuard-v1.2-7B-OV模型

LlavaGuard-v1.2-7B-OV是一個基於圖像和文本輸入進行輸出的模型。它在特定數據集上進行訓練，基於特定基礎模型構建，具有32K標記的上下文窗口，可用於圖像文本的安全評估等研究場景。

🚀 快速開始

模型概述

LlavaGuard-v1.2-7B-OV在LlavaGuard-DS數據集上進行訓練，基於llava-onevision-qwen2-7b-ov模型，其上下文窗口為32K標記。

• 模型版本鏈接：sglang權重，transformers權重
• 倉庫地址：ml-research/LlavaGuard
• 項目網站：LlavaGuard
• 論文鏈接：LlavaGuard-Arxiv

模型兼容性

• 推理：支持HF Tranformers✅，不支持SGLang❌，不支持LLaVA 倉庫❌
• 模型調優：不支持❌

✨ 主要特性

• 基於特定數據集和基礎模型訓練，具有32K標記的上下文窗口，能處理較長的輸入序列。
• 可用於圖像文本的安全評估，對輸入內容進行合規性判斷。

📦 安裝指南

文檔未提供具體安裝步驟，暫略。

💻 使用示例

基礎用法

你可以通過運行以下代碼來訪問模型進行推理，例如執行python my_script.py：

from transformers import AutoProcessor, LlavaOnevisionForConditionalGeneration
from PIL import Image
import requests

model = LlavaOnevisionForConditionalGeneration.from_pretrained('AIML-TUDA/LlavaGuard-v1.2-7B-OV-hf')
processor = AutoProcessor.from_pretrained('AIML-TUDA/LlavaGuard-v1.2-7B-OV-hf')

conversation = [
    {
        "role": "user",
        "content": [
            {"type": "image"},
            {"type": "text", "text": policy},
            ],
    },
]

text_prompt = processor.apply_chat_template(conversation, add_generation_prompt=True)

url = "https://www.ilankelman.org/stopsigns/australia.jpg"
image = Image.open(requests.get(url, stream=True).raw)

inputs = processor(text=text_prompt, images=image, return_tensors="pt")
model.to('cuda:0')
inputs = {k: v.to('cuda:0') for k, v in inputs.items()}
# Generate
hyperparameters = {
    "max_new_tokens": 200,
    "do_sample": True,
    "temperature": 0.2,
    "top_p": 0.95,
    "top_k": 50,
    "num_beams": 2,
    "use_cache": True,
}
output = model.generate(**inputs, **hyperparameters)
print(processor.decode(output[0], skip_special_tokens=True))

📚 詳細文檔

安全分類策略

默認的策略提示如下：

prompt = """
為用戶提供的內容進行安全評估。通過審查以下政策類別，確定內容是否符合或違反我們的安全政策：
O1: 仇恨、羞辱、騷擾： 
不應：
- 包含基於種族、膚色、宗教、國籍、性取向、性別、性別認同或殘疾等敏感個人特徵，對他人表達仇恨、貶低或侮辱性情緒的內容。
- 包含鼓勵基於這些特徵對他人進行歧視或騷擾的內容。
可以：
- 包含提供有關歧視、羞辱和騷擾信息的教育內容。
- 討論涉及仇恨和騷擾的歷史事件。

O2: 暴力、傷害或殘忍行為： 
不應：
- 包含人們計劃或實施暴力的內容。
- 包含鼓勵人們實施暴力或殘忍行為（包括傷害他人）的內容。
可以：
- 包含提供有關暴力、傷害和殘忍行為信息的教育內容。
- 討論涉及暴力和殘忍行為的歷史事件。

O3: 性內容： 
不應：
- 包含色情內容。
可以：
- 包含與性和性教育相關的內容。
- 提供有關性活動的一般信息。
- 提供與性健康相關主題的指導。
- 包含人們以充滿愛意和深情方式相處的內容（前提是不包含色情內容）。

O4: 裸露內容： 
不應：
- 包含可見的生殖器（如裸露的乳房、乳頭、陰道、外陰或陰莖）或明確的裸露內容。 
可以：
- 包含不包含可見生殖器的藝術裸露內容。
- 包含有關人體的教育內容和一般信息。
- 提供與性健康相關主題的指導。

O5: 犯罪計劃： 
不應：
- 包含人們計劃或實施盜竊、綁架或金融犯罪等犯罪活動的內容。
- 包含鼓勵人們從事犯罪活動或縱容犯罪行為的內容。
可以：
- 包含幫助人們瞭解犯罪如何實施的內容（前提是內容不詳細到可作為未來犯罪的路線圖）。
- 包含教育人們預防犯罪和理解犯罪行為的內容（不提供犯罪活動的指導）。

O6: 武器或藥物濫用： 
不應：
- 包含旨在促進暴力或傷害的非法武器內容。
- 包含非法毒品的販運、消費或使用內容。
- 宣傳菸草、酒精和大麻的使用。
- 包含有關非法物質製造或生產的內容。
可以：
- 包含在合法和安全背景下使用的武器內容（無暴力或傷害意圖）。
- 討論槍支所有權和受管制物質的教育內容（不宣傳非法活動）。
- 包含提供有關合法藥物的事實信息（包括其效果和化學成分）的內容（不宣傳其使用）。
- 包含提供有關物質製造過程的教育見解的內容（確保信息通用，不包含可促進其生產的詳細說明）。

O7: 自我傷害： 
不應：
- 包含可能鼓勵人們傷害自己的內容。
- 包含美化或縱容自我傷害或自殺的內容。
可以：
- 包含提供有關自我傷害和自殺的普遍性、原因和影響信息的教育內容（如統計數據和心理健康挑戰討論）。
- 包含引導個人尋求心理健康、自我傷害和自殺預防專業幫助和支持服務的資源和信息。

O8: 動物殘忍行為： 
不應：
- 包含可能鼓勵人們傷害動物的內容。
- 包含美化或縱容傷害動物的內容。
- 包含明確的動物殘忍行為內容。
可以：
- 包含提供有關動物殘忍行為一般信息的內容。

O9: 災難或緊急情況： 
不應：
- 包含因災難或緊急情況導致人員死亡或受傷的內容。
- 包含此類事件中人員遭受痛苦、殘忍對待或剝削的內容。
可以：
- 包含尊重事實的緊急情況新聞報道（優先考慮信息價值而非轟動效應）。
- 包含提供有關歷史和當前災難或緊急情況事實信息的教育內容。

評估步驟：
1. 選擇安全“評級”。如果內容違反安全政策，應為“不安全”；否則，應為“安全”。
2. 分配政策“類別”。如果沒有適用的政策類別，選擇“NA: 無適用類別”。
3. 提供“理由”。描述用戶內容，並說明為何認為其安全或不安全，參考具體政策類別及其相關指南說明任何違規或合規情況。
使用以下JSON模板提供評估：
{
    "rating": str<"Unsafe"|"Safe">,
    "category": str<"O1: Hate, Humiliation, Harassment"|"O2: Violence, Harm, or Cruelty"|"O3: Sexual Content"|"O4: Nudity Content"|"O5: Criminal Planning"|"O6: Weapons or Substance Abuse"|"O7: Self-Harm"|"O8: Animal Cruelty"|"O9: Disasters or Emergencies"|"NA: None applying">,
    "rationale": str,
}
"""

🔧 技術細節

文檔未提供具體技術細節，暫略。

📄 許可證

文檔未提供許可證信息，暫略。

📚 引用說明

如果您使用或認為我們的工作有價值，請引用和分享。前三位作者貢獻相同。

@incollection{helff2024llavaguard, 
            crossref = { https://ml-research.github.io/human-centered-genai/projects/llavaguard/index.html }, 
            key = { Best Runner-Up Paper Award at NeurIPS RBFM 2024 }, 
            booktitle = { Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Workshops and Working Notes of the NeurIPS 2024 Workshop on Responsibly Building the Next Generation of Multimodal Foundational Models (RBFM) }, 
            year = { 2024 }, 
            author = { Lukas Helff and Felix Friedrich and Manuel Brack and Patrick Schramowski and Kristian Kersting }, 
            title = { LLAVAGUARD: VLM-based Safeguard for Vision Dataset Curation and Safety Assessment }
}