Safeclip Vit H 14

🚀 安全CLIP（Safe-CLIP）模型卡

安全CLIP（Safe-CLIP）是一种增强型视觉语言模型，旨在降低人工智能应用中与不适宜工作场景（NSFW）内容相关的风险。该模型在论文《安全CLIP：从视觉语言模型中移除不适宜工作场景概念》中被首次提出。

安全CLIP基于CLIP模型进行微调，以优化语言和视觉概念之间的关联，确保在文本到图像以及图像到文本的检索和生成任务中输出更加安全。

🚀 快速开始

使用Transformers库

以下是使用Transformers库调用安全CLIP的代码片段：

>>> from transformers import CLIPModel

>>> model_id = "aimagelab/safeclip_vit-h_14"
>>> model = CLIPModel.from_pretrained(model_id)

✨ 主要特性

• 基于CLIP模型微调，专为降低NSFW内容风险而设计。
• 适用于多种视觉语言任务，如跨模态检索、文本到图像和图像到文本生成。
• 与预训练生成模型无缝协作，在不牺牲语义内容质量的前提下提供更安全的选择。

📚 详细文档

NSFW定义

在我们的研究中，受这篇论文的启发，我们将NSFW定义为一组有限且固定的概念，这些概念被认为对个人是不适当、冒犯性或有害的。这些概念分为七类：仇恨、骚扰、暴力、自我伤害、性、令人震惊的内容和非法活动。

模型细节

安全CLIP是CLIP模型的微调版本。模型的微调是通过ViSU（视觉安全与不安全）数据集完成的，该数据集在同一论文中被引入。

ViSU包含四元组元素：安全和NSFW的句子对以及相应的安全和NSFW图像。你可以在HuggingFace的ViSU-文本页面上找到ViSU数据集的文本部分。由于存在极其不适当的图像，我们决定不发布该数据集的视觉部分。这些图像可能会对个人造成伤害和困扰。因此，发布这部分数据集是不负责任的，也违背了确保人工智能技术安全和道德使用的原则。最终的模型将不适当的内容重定向到嵌入空间的安全区域，同时保留安全嵌入的完整性。

变体：安全CLIP有四个版本，以提高与一些最流行的用于图像到文本（I2T）和文本到图像（T2I）生成任务的视觉语言模型的兼容性。更多细节见下表：

模型发布日期：2024年7月9日。

有关模型、训练细节、数据集和评估的更多信息，请参考论文。你还可以在论文的仓库中找到下游任务的示例代码。

💻 使用示例

基础用法

>>> from transformers import CLIPModel

>>> model_id = "aimagelab/safeclip_vit-h_14"
>>> model = CLIPModel.from_pretrained(model_id)

高级用法 - 零样本分类示例

>>> from transformers import CLIPModel, CLIPProcessor
>>> from PIL import Image

>>> model_id = "aimagelab/safeclip_vit-h_14"

>>> model = CLIPModel.from_pretrained(model_id)
>>> processor = CLIPProcessor.from_pretrained("laion/CLIP-ViT-H-14-laion2B-s32B-b79K")

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> image = Image.open(requests.get(url, stream=True).raw)
>>> inputs = processor(text=["a photo of a cat", "a photo of a dog"], images=image, return_tensors="pt", padding=True)

>>> outputs = clip(**inputs)
>>> logits_per_image = outputs.logits_per_image # 这是图像 - 文本相似度得分
>>> probs = logits_per_image.softmax(dim=1) # 我们可以使用softmax函数得到标签概率

📄 许可证

本模型采用CC BY-NC 4.0许可证。

📚 引用

请使用以下BibTeX引用此模型：

@article{poppi2024removing,
  title={{Safe-CLIP: Removing NSFW Concepts from Vision-and-Language Models}},
  author={Poppi, Samuele and Poppi, Tobia and Cocchi, Federico and Cornia, Marcella and Baraldi, Lorenzo and Cucchiara, Rita},
  journal={arXiv preprint arXiv:2311.16254},
  year={2024}
}