🚀 SigLIP (基础大小模型)
SigLIP是一个基于Transformer架构的多模态模型,它在图像文本预训练任务中表现出色,通过改进的损失函数提升了模型性能,可用于零样本图像分类和图像文本检索等任务。
🚀 快速开始
你可以使用原始模型进行零样本图像分类和图像 - 文本检索等任务。查看模型中心以查找其他感兴趣的版本。
✨ 主要特性
- 改进损失函数:SigLIP是具有更好损失函数的CLIP多模态模型。Sigmoid损失仅在图像 - 文本对上操作,无需对成对相似度进行全局归一化,可进一步扩大批量大小,同时在小批量大小下也表现出色。
- 可扩展性:能够在不同规模的批量大小下保持良好性能,便于在不同计算资源下使用。
📦 安装指南
文档未提及具体安装步骤,可参考Hugging Face相关库的安装方式,确保安装transformers
、torch
、Pillow
、requests
等依赖库。
💻 使用示例
基础用法
以下是如何使用此模型进行零样本图像分类的示例:
from PIL import Image
import requests
from transformers import AutoProcessor, AutoModel
import torch
model = AutoModel.from_pretrained("google/siglip-base-patch16-384")
processor = AutoProcessor.from_pretrained("google/siglip-base-patch16-384")
url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)
texts = ["a photo of 2 cats", "a photo of 2 dogs"]
inputs = processor(text=texts, images=image, padding="max_length", return_tensors="pt")
with torch.no_grad():
outputs = model(**inputs)
logits_per_image = outputs.logits_per_image
probs = torch.sigmoid(logits_per_image)
print(f"{probs[0][0]:.1%} that image 0 is '{texts[0]}'")
高级用法
也可以利用pipeline API,它为用户抽象了复杂性:
from transformers import pipeline
from PIL import Image
import requests
image_classifier = pipeline(task="zero-shot-image-classification", model="google/siglip-base-patch16-384")
url = 'http://images.cocodataset.org/val2017/000000039769.jpg'
image = Image.open(requests.get(url, stream=True).raw)
outputs = image_classifier(image, candidate_labels=["2 cats", "a plane", "a remote"])
outputs = [{"score": round(output["score"], 4), "label": output["label"] } for output in outputs]
print(outputs)
更多代码示例,请参考文档。
📚 详细文档
模型描述
SigLIP是具有更好损失函数的CLIP多模态模型。Sigmoid损失仅在图像 - 文本对上操作,无需对成对相似度进行全局归一化,这允许进一步扩大批量大小,同时在小批量大小下也表现更好。
作者之一对SigLIP的简要总结可在此处找到。
预期用途和限制
可以使用原始模型进行零样本图像分类和图像 - 文本检索等任务。查看模型中心以查找其他感兴趣的版本。
训练过程
训练数据
SigLIP在WebLI数据集的英文图像 - 文本对上进行预训练(Chen et al., 2023)。
预处理
- 图像:图像被调整大小/重新缩放为相同的分辨率(384x384),并在RGB通道上进行归一化,均值为(0.5, 0.5, 0.5),标准差为(0.5, 0.5, 0.5)。
- 文本:文本被分词并填充到相同的长度(64个标记)。
计算资源
该模型在16个TPU - v4芯片上训练了三天。
评估结果
SigLIP与CLIP的评估比较如下(取自论文):

BibTeX引用和引用信息
@misc{zhai2023sigmoid,
title={Sigmoid Loss for Language Image Pre-Training},
author={Xiaohua Zhai and Basil Mustafa and Alexander Kolesnikov and Lucas Beyer},
year={2023},
eprint={2303.15343},
archivePrefix={arXiv},
primaryClass={cs.CV}
}
📄 许可证
本项目采用Apache - 2.0许可证。