Owlv2 Large Patch14

🚀 模型卡片：OWLv2

OWLv2模型（開放世界定位的縮寫）是一個零樣本的文本條件目標檢測模型，可使用一個或多個文本查詢對圖像進行查詢。該模型在開放詞彙目標檢測領域具有重要意義，能夠幫助研究人員更好地理解和探索相關技術。

✨ 主要特性

• 零樣本檢測：可使用文本查詢對圖像進行目標檢測，無需針對特定目標進行訓練。
• 多模態骨幹：使用CLIP作為多模態骨幹，結合視覺和文本特徵進行檢測。
• 開放詞彙分類：通過替換固定分類層權重，實現開放詞彙分類。

📚 詳細文檔

• OWLv2論文

🔧 技術細節

模型詳情

OWLv2模型（開放世界定位的縮寫）由Matthias Minderer、Alexey Gritsenko、Neil Houlsby在擴大開放詞彙目標檢測中提出。與OWL - ViT一樣，OWLv2是一個零樣本的文本條件目標檢測模型，可使用一個或多個文本查詢對圖像進行查詢。

該模型使用CLIP作為其多模態骨幹，使用類似ViT的Transformer獲取視覺特徵，並使用因果語言模型獲取文本特徵。為了將CLIP用於檢測，OWL - ViT移除了視覺模型的最終標記池化層，並將輕量級分類和邊界框頭附加到每個Transformer輸出標記上。通過用從文本模型獲得的類名嵌入替換固定分類層權重，實現開放詞彙分類。作者首先從頭開始訓練CLIP，並使用二分匹配損失在標準檢測數據集上對分類和邊界框頭進行端到端微調。每張圖像可以使用一個或多個文本查詢來執行零樣本的文本條件目標檢測。

模型日期

2023年6月

模型類型

該模型使用具有ViT - L/14 Transformer架構的CLIP骨幹作為圖像編碼器，並使用掩碼自注意力Transformer作為文本編碼器。這些編碼器通過對比損失進行訓練，以最大化（圖像，文本）對的相似度。CLIP骨幹從頭開始訓練，並與邊界框和類別預測頭一起針對目標檢測目標進行微調。

💻 使用示例

基礎用法

import requests
from PIL import Image
import torch

from transformers import Owlv2Processor, Owlv2ForObjectDetection

processor = Owlv2Processor.from_pretrained("google/owlv2-large-patch14")
model = Owlv2ForObjectDetection.from_pretrained("google/owlv2-large-patch14")

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)
texts = [["a photo of a cat", "a photo of a dog"]]
inputs = processor(text=texts, images=image, return_tensors="pt")

with torch.no_grad():
  outputs = model(**inputs)

# Target image sizes (height, width) to rescale box predictions [batch_size, 2]
target_sizes = torch.Tensor([image.size[::-1]])
# Convert outputs (bounding boxes and class logits) to Pascal VOC Format (xmin, ymin, xmax, ymax)
results = processor.post_process_object_detection(outputs=outputs, target_sizes=target_sizes, threshold=0.1)
i = 0  # Retrieve predictions for the first image for the corresponding text queries
text = texts[i]
boxes, scores, labels = results[i]["boxes"], results[i]["scores"], results[i]["labels"]
for box, score, label in zip(boxes, scores, labels):
    box = [round(i, 2) for i in box.tolist()]
    print(f"Detected {text[label]} with confidence {round(score.item(), 3)} at location {box}")

📦 安裝指南

文檔中未提及安裝步驟，故跳過此章節。

📄 許可證

本項目採用Apache - 2.0許可證。

模型使用

預期用途

該模型旨在作為研究成果供研究社區使用。我們希望該模型能使研究人員更好地理解和探索零樣本的文本條件目標檢測。我們還希望它能用於跨學科研究，研究此類模型的潛在影響，特別是在那些通常需要識別訓練期間標籤不可用的目標的領域。

主要預期用途

這些模型的主要預期用戶是AI研究人員。

我們主要設想研究人員將使用該模型來更好地理解計算機視覺模型的魯棒性、泛化能力以及其他能力、偏差和限制。

數據

該模型的CLIP骨幹在公開可用的圖像 - 標題數據上進行訓練。這是通過爬取一些網站並使用常用的現有圖像數據集（如YFCC100M）來完成的。大部分數據來自我們對互聯網的爬取。這意味著數據更能代表與互聯網連接最緊密的人群和社會。OWL - ViT的預測頭與CLIP骨幹一起在公開可用的目標檢測數據集（如COCO和OpenImages）上進行微調。

（v2版本待更新）

BibTeX引用和引用信息

@misc{minderer2023scaling,
      title={Scaling Open-Vocabulary Object Detection}, 
      author={Matthias Minderer and Alexey Gritsenko and Neil Houlsby},
      year={2023},
      eprint={2306.09683},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}