Grounding Dino Base

🚀 Grounding DINO模型（基礎變體）

Grounding DINO模型是一種用於開放集目標檢測的創新模型，它將文本編碼器與目標檢測模型相結合，無需標註數據即可直接檢測圖像中的物體，在COCO零樣本檢測任務中取得了52.5 AP的出色成績。

🚀 快速開始

預期用途與限制

你可以使用該原始模型進行零樣本目標檢測（即在沒有標註數據的情況下直接檢測圖像中的物體）。

使用方法

以下是如何使用該模型進行零樣本目標檢測的示例代碼：

import requests

import torch
from PIL import Image
from transformers import AutoProcessor, AutoModelForZeroShotObjectDetection 

model_id = "IDEA-Research/grounding-dino-base"
device = "cuda" if torch.cuda.is_available() else "cpu"

processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForZeroShotObjectDetection.from_pretrained(model_id).to(device)

image_url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(image_url, stream=True).raw)
# 檢查貓和遙控器
# 非常重要：文本查詢需要小寫並以句號結尾
text = "a cat. a remote control."

inputs = processor(images=image, text=text, return_tensors="pt").to(device)
with torch.no_grad():
    outputs = model(**inputs)

results = processor.post_process_grounded_object_detection(
    outputs,
    inputs.input_ids,
    box_threshold=0.4,
    text_threshold=0.3,
    target_sizes=[image.size[::-1]]
)

BibTeX引用與引用信息

@misc{liu2023grounding,
      title={Grounding DINO: Marrying DINO with Grounded Pre-Training for Open-Set Object Detection}, 
      author={Shilong Liu and Zhaoyang Zeng and Tianhe Ren and Feng Li and Hao Zhang and Jie Yang and Chunyuan Li and Jianwei Yang and Hang Su and Jun Zhu and Lei Zhang},
      year={2023},
      eprint={2303.05499},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

模型架構圖

Grounding DINO概述。取自 原始論文。

📄 許可證

本項目採用Apache-2.0許可證。