Owlv2 Large Patch14

🚀 模型卡片：OWLv2

OWLv2模型（开放世界定位的缩写）是一个零样本的文本条件目标检测模型，可使用一个或多个文本查询对图像进行查询。该模型在开放词汇目标检测领域具有重要意义，能够帮助研究人员更好地理解和探索相关技术。

✨ 主要特性

• 零样本检测：可使用文本查询对图像进行目标检测，无需针对特定目标进行训练。
• 多模态骨干：使用CLIP作为多模态骨干，结合视觉和文本特征进行检测。
• 开放词汇分类：通过替换固定分类层权重，实现开放词汇分类。

📚 详细文档

• OWLv2论文

🔧 技术细节

模型详情

OWLv2模型（开放世界定位的缩写）由Matthias Minderer、Alexey Gritsenko、Neil Houlsby在扩大开放词汇目标检测中提出。与OWL - ViT一样，OWLv2是一个零样本的文本条件目标检测模型，可使用一个或多个文本查询对图像进行查询。

该模型使用CLIP作为其多模态骨干，使用类似ViT的Transformer获取视觉特征，并使用因果语言模型获取文本特征。为了将CLIP用于检测，OWL - ViT移除了视觉模型的最终标记池化层，并将轻量级分类和边界框头附加到每个Transformer输出标记上。通过用从文本模型获得的类名嵌入替换固定分类层权重，实现开放词汇分类。作者首先从头开始训练CLIP，并使用二分匹配损失在标准检测数据集上对分类和边界框头进行端到端微调。每张图像可以使用一个或多个文本查询来执行零样本的文本条件目标检测。

模型日期

2023年6月

模型类型

该模型使用具有ViT - L/14 Transformer架构的CLIP骨干作为图像编码器，并使用掩码自注意力Transformer作为文本编码器。这些编码器通过对比损失进行训练，以最大化（图像，文本）对的相似度。CLIP骨干从头开始训练，并与边界框和类别预测头一起针对目标检测目标进行微调。

💻 使用示例

基础用法

import requests
from PIL import Image
import torch

from transformers import Owlv2Processor, Owlv2ForObjectDetection

processor = Owlv2Processor.from_pretrained("google/owlv2-large-patch14")
model = Owlv2ForObjectDetection.from_pretrained("google/owlv2-large-patch14")

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)
texts = [["a photo of a cat", "a photo of a dog"]]
inputs = processor(text=texts, images=image, return_tensors="pt")

with torch.no_grad():
  outputs = model(**inputs)

# Target image sizes (height, width) to rescale box predictions [batch_size, 2]
target_sizes = torch.Tensor([image.size[::-1]])
# Convert outputs (bounding boxes and class logits) to Pascal VOC Format (xmin, ymin, xmax, ymax)
results = processor.post_process_object_detection(outputs=outputs, target_sizes=target_sizes, threshold=0.1)
i = 0  # Retrieve predictions for the first image for the corresponding text queries
text = texts[i]
boxes, scores, labels = results[i]["boxes"], results[i]["scores"], results[i]["labels"]
for box, score, label in zip(boxes, scores, labels):
    box = [round(i, 2) for i in box.tolist()]
    print(f"Detected {text[label]} with confidence {round(score.item(), 3)} at location {box}")

📦 安装指南

文档中未提及安装步骤，故跳过此章节。

📄 许可证

本项目采用Apache - 2.0许可证。

模型使用

预期用途

该模型旨在作为研究成果供研究社区使用。我们希望该模型能使研究人员更好地理解和探索零样本的文本条件目标检测。我们还希望它能用于跨学科研究，研究此类模型的潜在影响，特别是在那些通常需要识别训练期间标签不可用的目标的领域。

主要预期用途

这些模型的主要预期用户是AI研究人员。

我们主要设想研究人员将使用该模型来更好地理解计算机视觉模型的鲁棒性、泛化能力以及其他能力、偏差和限制。

数据

该模型的CLIP骨干在公开可用的图像 - 标题数据上进行训练。这是通过爬取一些网站并使用常用的现有图像数据集（如YFCC100M）来完成的。大部分数据来自我们对互联网的爬取。这意味着数据更能代表与互联网连接最紧密的人群和社会。OWL - ViT的预测头与CLIP骨干一起在公开可用的目标检测数据集（如COCO和OpenImages）上进行微调。

（v2版本待更新）

BibTeX引用和引用信息

@misc{minderer2023scaling,
      title={Scaling Open-Vocabulary Object Detection}, 
      author={Matthias Minderer and Alexey Gritsenko and Neil Houlsby},
      year={2023},
      eprint={2306.09683},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}