Siglip Base Patch16 256

🚀 SigLIP（基础尺寸模型）

SigLIP 是一种多模态模型，通过优化损失函数，在零样本图像分类和图像 - 文本检索等任务中表现出色。它基于 CLIP 模型改进而来，能有效提升批量处理能力，在不同批量大小下都有良好性能。

🚀 快速开始

SigLIP 模型在分辨率为 256x256 的 WebLi 数据集上进行了预训练。它由 Zhai 等人在论文 Sigmoid Loss for Language Image Pre-Training 中提出，并首次在 此仓库 中发布。

免责声明：发布 SigLIP 的团队并未为此模型撰写模型卡片，此模型卡片由 Hugging Face 团队编写。

✨ 主要特性

• SigLIP 是 CLIP 这一多模态模型的改进版本，采用了更优的损失函数。
• 该模型的 sigmoid 损失仅作用于图像 - 文本对，无需对成对相似度进行全局归一化，这使得批量大小可以进一步扩大，同时在小批量大小下也能有更好的表现。
• 一位作者对 SigLIP 的简要总结可查看 此处。

📦 安装指南

此部分文档未提及具体安装命令，跳过该章节。

💻 使用示例

基础用法

以下是如何使用该模型进行零样本图像分类的示例：

from PIL import Image
import requests
from transformers import AutoProcessor, AutoModel
import torch

model = AutoModel.from_pretrained("google/siglip-base-patch16-256")
processor = AutoProcessor.from_pretrained("google/siglip-base-patch16-256")

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

texts = ["a photo of 2 cats", "a photo of 2 dogs"]
inputs = processor(text=texts, images=image, padding="max_length", return_tensors="pt")

with torch.no_grad():
    outputs = model(**inputs)

logits_per_image = outputs.logits_per_image
probs = torch.sigmoid(logits_per_image) # these are the probabilities
print(f"{probs[0][0]:.1%} that image 0 is '{texts[0]}'")

高级用法

也可以利用管道 API 来简化使用过程：

from transformers import pipeline
from PIL import Image
import requests

# load pipe
image_classifier = pipeline(task="zero-shot-image-classification", model="google/siglip-base-patch16-224")

# load image
url = 'http://images.cocodataset.org/val2017/000000039769.jpg'
image = Image.open(requests.get(url, stream=True).raw)

# inference
outputs = image_classifier(image, candidate_labels=["2 cats", "a plane", "a remote"])
outputs = [{"score": round(output["score"], 4), "label": output["label"] } for output in outputs]
print(outputs)

更多代码示例可参考 文档。

📚 详细文档

预期用途和限制

可以使用原始模型进行零样本图像分类和图像 - 文本检索等任务。可查看 模型中心 以寻找其他版本的模型。

训练过程

训练数据

SigLIP 在 WebLI 数据集的英文图像 - 文本对上进行了预训练 (Chen et al., 2023)。

预处理

• 图像被调整大小/重新缩放至相同分辨率（256x256），并在 RGB 通道上进行归一化，均值为 (0.5, 0.5, 0.5)，标准差为 (0.5, 0.5, 0.5)。
• 文本被分词并填充至相同长度（64 个标记）。

计算资源

该模型在 16 个 TPU - v4 芯片上训练了三天。

评估结果

以下是 SigLIP 与 CLIP 的评估对比（取自论文）：

🔧 技术细节

此部分文档未提供足够详细的技术说明，跳过该章节。

📄 许可证

该模型使用 Apache - 2.0 许可证。

BibTeX 引用和引用信息

@misc{zhai2023sigmoid,
      title={Sigmoid Loss for Language Image Pre-Training}, 
      author={Xiaohua Zhai and Basil Mustafa and Alexander Kolesnikov and Lucas Beyer},
      year={2023},
      eprint={2303.15343},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}