Grounding Dino Tiny

🚀 Grounding DINO模型（微小變體）

Grounding DINO模型是一種用於開放集目標檢測的創新模型，它通過結合文本編碼器擴展了封閉集目標檢測模型的能力，在零樣本目標檢測任務中表現出色，例如在COCO零樣本數據集上達到了52.5 AP的優異成績。

🚀 快速開始

預期用途與限制

你可以使用該原始模型進行零樣本目標檢測（即在沒有標註數據的情況下直接檢測圖像中的物體）。

使用方法

以下是如何使用該模型進行零樣本目標檢測的示例代碼：

import requests

import torch
from PIL import Image
from transformers import AutoProcessor, AutoModelForZeroShotObjectDetection 

model_id = "IDEA-Research/grounding-dino-tiny"
device = "cuda" if torch.cuda.is_available() else "cpu"

processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForZeroShotObjectDetection.from_pretrained(model_id).to(device)

image_url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(image_url, stream=True).raw)
# 檢查貓和遙控器
# 非常重要：文本查詢需要小寫並以句號結尾
text = "a cat. a remote control."

inputs = processor(images=image, text=text, return_tensors="pt").to(device)
with torch.no_grad():
    outputs = model(**inputs)

results = processor.post_process_grounded_object_detection(
    outputs,
    inputs.input_ids,
    box_threshold=0.4,
    text_threshold=0.3,
    target_sizes=[image.size[::-1]]
)

BibTeX引用和引用信息

@misc{liu2023grounding,
      title={Grounding DINO: Marrying DINO with Grounded Pre-Training for Open-Set Object Detection}, 
      author={Shilong Liu and Zhaoyang Zeng and Tianhe Ren and Feng Li and Hao Zhang and Jie Yang and Chunyuan Li and Jianwei Yang and Hang Su and Jun Zhu and Lei Zhang},
      year={2023},
      eprint={2303.05499},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

模型架構圖

Grounding DINO概述。取自 原始論文。

📄 許可證

本項目採用Apache-2.0許可證。