🚀 SigLIP(基础尺寸模型)
SigLIP 是一种多模态模型,通过优化损失函数,在零样本图像分类和图像 - 文本检索等任务中表现出色。它基于 CLIP 模型改进而来,能有效提升批量处理能力,在不同批量大小下都有良好性能。
🚀 快速开始
SigLIP 模型在分辨率为 256x256 的 WebLi 数据集上进行了预训练。它由 Zhai 等人在论文 Sigmoid Loss for Language Image Pre-Training 中提出,并首次在 此仓库 中发布。
免责声明:发布 SigLIP 的团队并未为此模型撰写模型卡片,此模型卡片由 Hugging Face 团队编写。
✨ 主要特性
- SigLIP 是 CLIP 这一多模态模型的改进版本,采用了更优的损失函数。
- 该模型的 sigmoid 损失仅作用于图像 - 文本对,无需对成对相似度进行全局归一化,这使得批量大小可以进一步扩大,同时在小批量大小下也能有更好的表现。
- 一位作者对 SigLIP 的简要总结可查看 此处。
📦 安装指南
此部分文档未提及具体安装命令,跳过该章节。
💻 使用示例
基础用法
以下是如何使用该模型进行零样本图像分类的示例:
from PIL import Image
import requests
from transformers import AutoProcessor, AutoModel
import torch
model = AutoModel.from_pretrained("google/siglip-base-patch16-256")
processor = AutoProcessor.from_pretrained("google/siglip-base-patch16-256")
url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)
texts = ["a photo of 2 cats", "a photo of 2 dogs"]
inputs = processor(text=texts, images=image, padding="max_length", return_tensors="pt")
with torch.no_grad():
outputs = model(**inputs)
logits_per_image = outputs.logits_per_image
probs = torch.sigmoid(logits_per_image)
print(f"{probs[0][0]:.1%} that image 0 is '{texts[0]}'")
高级用法
也可以利用管道 API 来简化使用过程:
from transformers import pipeline
from PIL import Image
import requests
image_classifier = pipeline(task="zero-shot-image-classification", model="google/siglip-base-patch16-224")
url = 'http://images.cocodataset.org/val2017/000000039769.jpg'
image = Image.open(requests.get(url, stream=True).raw)
outputs = image_classifier(image, candidate_labels=["2 cats", "a plane", "a remote"])
outputs = [{"score": round(output["score"], 4), "label": output["label"] } for output in outputs]
print(outputs)
更多代码示例可参考 文档。
📚 详细文档
预期用途和限制
可以使用原始模型进行零样本图像分类和图像 - 文本检索等任务。可查看 模型中心 以寻找其他版本的模型。
训练过程
训练数据
SigLIP 在 WebLI 数据集的英文图像 - 文本对上进行了预训练 (Chen et al., 2023)。
预处理
- 图像被调整大小/重新缩放至相同分辨率(256x256),并在 RGB 通道上进行归一化,均值为 (0.5, 0.5, 0.5),标准差为 (0.5, 0.5, 0.5)。
- 文本被分词并填充至相同长度(64 个标记)。
计算资源
该模型在 16 个 TPU - v4 芯片上训练了三天。
评估结果
以下是 SigLIP 与 CLIP 的评估对比(取自论文):

🔧 技术细节
此部分文档未提供足够详细的技术说明,跳过该章节。
📄 许可证
该模型使用 Apache - 2.0 许可证。
BibTeX 引用和引用信息
@misc{zhai2023sigmoid,
title={Sigmoid Loss for Language Image Pre-Training},
author={Xiaohua Zhai and Basil Mustafa and Alexander Kolesnikov and Lucas Beyer},
year={2023},
eprint={2303.15343},
archivePrefix={arXiv},
primaryClass={cs.CV}
}