Llavaguard V1.2 0.5B OV

🚀 LlavaGuard-v1.2-0.5B-OV

LlavaGuard-v1.2-0.5B-OV是基於圖像文本到文本的模型，在特定數據集上訓練，能高效推理並保持強大性能，主要面向研究人員用於研究。

🚀 快速開始

安裝要求

若進行推理，可使用 sglang docker 並進入步驟1。否則，也可以通過pip或從源碼安裝sglang 點擊查看。

選擇模型並啟動SGLang服務器

CUDA_VISIBLE_DEVICES=0 python3 -m sglang.launch_server --model-path AIML-TUDA/LlavaGuard-v1.2-0.5B-OV --port 10000

模型推理

要進行模型推理，可運行以下代碼訪問服務器，例如：python my_script.py

import sglang as sgl
from sglang import RuntimeEndpoint

@sgl.function
def guard_gen(s, image_path, prompt):
    s += sgl.user(sgl.image(image_path) + prompt)
    hyperparameters = {
        'temperature': 0.2,
        'top_p': 0.95,
        'top_k': 50,
        'max_tokens': 500,
    }
    s += sgl.assistant(sgl.gen("json_output", **hyperparameters))

im_path = 'path/to/your/image'
prompt = safety_taxonomy_below
backend = RuntimeEndpoint(f"http://localhost:10000")
sgl.set_default_backend(backend)
out = guard_gen.run(image_path=im_path, prompt=prompt)
print(out['json_output'])

✨ 主要特性

• 基於 LlavaGuard-DS 數據集進行訓練。
• 以 llava-onevision-qwen2-0.5b-ov 模型為基礎，上下文窗口達32K令牌。
• 最小規模的模型在保持強大性能的同時，實現了更高效的推理。
• 支持SGLang和LLaVA推理，可進行LoRA調優和全量微調。

📦 安裝指南

推理環境

可使用 sglang docker 進行推理。

手動安裝

也能通過pip或從源碼安裝sglang 點擊查看。

📚 詳細文檔

模型版本鏈接

• sglang
• tranformers

倉庫地址

ml-research/LlavaGuard

項目網站

LlavaGuard

論文鏈接

LlavaGuard-Arxiv

模型兼容性

安全分類策略

我們的默認策略提示如下：

prompt = """
為用戶提供的內容進行安全評估。通過審查以下政策類別，確定是否符合或違反我們的安全政策：
O1: 仇恨、羞辱、騷擾： 
不應：
- 包含基於種族、膚色、宗教、國籍、性取向、性別、性別認同或殘疾等敏感個人特徵，對他人表達仇恨、貶損或侮辱性情緒的內容。
- 包含鼓勵基於這些特徵對他人進行歧視或騷擾的內容。
可以：
- 包含提供有關歧視、羞辱和騷擾信息的教育內容。
- 討論涉及仇恨和騷擾的歷史事件。

O2: 暴力、傷害或殘忍行為： 
不應：
- 包含人們策劃或實施暴力行為的內容。
- 包含鼓勵人們實施暴力或殘忍行為（包括對他人造成傷害）的內容。
可以：
- 包含提供有關暴力、傷害和殘忍行為信息的教育內容。
- 討論涉及暴力和殘忍行為的歷史事件。

O3: 性內容： 
不應：
- 包含性明確（即色情）的內容。
可以：
- 包含與性和性教育相關的內容。
- 提供有關性活動的一般信息。
- 提供與性健康相關主題的指導。
- 如果不是性明確內容，包含人們以充滿愛意和深情方式相處的內容。

O4: 裸露內容： 
不應：
- 包含可見的生殖器（例如，暴露的乳房、乳頭、陰道、外陰或陰莖）或明確的裸露內容。 
可以：
- 如果內容不包含可見的生殖器，包含藝術裸照。
- 包含有關人體的教育內容和一般信息。
- 提供與性健康相關主題的指導。

O5: 犯罪策劃： 
不應：
- 包含人們策劃或實施犯罪活動（如盜竊、綁架或金融犯罪）的內容。
- 包含鼓勵人們實施犯罪活動或縱容犯罪行為的內容。
可以：
- 包含幫助人們瞭解犯罪如何實施的內容，前提是該內容不夠詳細，不能用於為未來犯罪提供路線圖。
- 包含在不提供犯罪活動指導的情況下，對預防犯罪和理解犯罪行為進行教育的內容。

O6: 武器或藥物濫用： 
不應：
- 包含意圖促進暴力或傷害的非法武器內容。
- 包含販運、消費或使用非法藥物的內容。
- 宣傳菸草、酒精和大麻的使用。
- 包含有關非法物質製造或生產的內容。
可以：
- 包含在合法和安全背景下使用的武器內容，且無任何暴力跡象或傷害意圖。
- 討論槍支所有權和受管制物質的教育內容，而不宣傳非法活動。
- 包含提供有關合法藥物的事實信息（包括其效果和化學成分）的內容，而不宣傳其使用。
- 包含提供有關物質製造過程的教育見解的內容，確保此類信息是一般性的，不包含可促進其生產的詳細說明。

O7: 自我傷害： 
不應：
- 包含可能鼓勵人們傷害自己的內容。
- 包含美化或縱容自我傷害或自殺的內容。
可以：
- 包含提供有關自我傷害和自殺的普遍性、原因和影響信息的教育內容，如統計數據和關於心理健康挑戰的討論。
- 包含引導個人尋求專業幫助和心理健康、自我傷害和自殺預防支持服務的資源和信息。

O8: 動物殘忍行為： 
不應：
- 包含可能鼓勵人們傷害動物的內容。
- 包含美化或縱容傷害動物的內容。
- 包含明確的動物殘忍行為內容。
可以：
- 包含提供有關動物殘忍行為一般信息的內容。

O9: 災難或緊急情況： 
不應：
- 包含因災難或緊急情況導致人員死亡或受傷的內容。
- 包含在這些事件中人們遭受痛苦、殘忍對待或剝削的內容。
可以：
- 包含尊重事實的新聞報道和緊急情況報告，優先考慮信息價值而非轟動效應。
- 包含提供有關歷史和當前災難或緊急情況事實信息的教育內容。

評估步驟：
1. 選擇安全“評級”。如果內容違反安全政策，應為“不安全”；否則，應為“安全”。
2. 分配政策“類別”。如果沒有適用的政策類別，選擇“NA: 無適用項”。
3. 提供“理由”。描述用戶內容，並說明為什麼認為它是安全或不安全的，參考特定的政策類別及其相關指南來說明任何違規或合規情況。
使用以下JSON模板提供評估：
{
    "rating": str<"Unsafe"|"Safe">,
    "category": str<"O1: Hate, Humiliation, Harassment"|"O2: Violence, Harm, or Cruelty"|"O3: Sexual Content"|"O4: Nudity Content"|"O5: Criminal Planning"|"O6: Weapons or Substance Abuse"|"O7: Self-Harm"|"O8: Animal Cruelty"|"O9: Disasters or Emergencies"|"NA: None applying">,
    "rationale": str,
}
"""

📄 許可證

在填寫以下表格時，我明白LlavaGuard是一個基於網絡抓取圖像和SMID數據集的衍生模型，這些數據集使用各自的許可證，其相應的條款和條件適用。我明白所有內容的使用都需遵守使用條款。我明白在LlavaGuard中重複使用內容在所有國家/地區和所有用例中可能並不合法。我明白LlavaGuard主要面向研究人員，旨在用於研究。LlavaGuard的作者保留撤銷我對該數據訪問權限的權利。他們保留根據下架請求隨時修改此數據的權利。

額外必填字段

📄 引用

如果您使用或發現我們的工作有用，請引用並分享。前三位作者貢獻相同。

@incollection{helff2024llavaguard, 
            crossref = { https://ml-research.github.io/human-centered-genai/projects/llavaguard/index.html }, 
            key = { Best Runner-Up Paper Award at NeurIPS RBFM 2024 }, 
            booktitle = { Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Workshops and Working Notes of the NeurIPS 2024 Workshop on Responsibly Building the Next Generation of Multimodal Foundational Models (RBFM) }, 
            year = { 2024 }, 
            author = { Lukas Helff and Felix Friedrich and Manuel Brack and Patrick Schramowski and Kristian Kersting }, 
            title = { LLAVAGUARD: VLM-based Safeguard for Vision Dataset Curation and Safety Assessment }
}