Grounding Dino Tiny

🚀 Grounding DINO model (tiny variant)

Grounding DINOモデルは、オープンセット物体検出のためにDINOとグラウンディング事前学習を組み合わせたモデルです。このモデルは、Shilong Liu、Zhaoyang Zeng、Tianhe Ren、Feng Li、Hao Zhang、Jie Yang、Chunyuan Li、Jianwei Yang、Hang Su、Jun Zhu、Lei Zhangによって提案されました。Grounding DINOは、テキストエンコーダを用いてクローズドセット物体検出モデルを拡張し、オープンセット物体検出を可能にします。このモデルは、COCOゼロショットで52.5 APという顕著な結果を達成しています。

Grounding DINOの概要。原論文より引用。

🚀 クイックスタート

このモデルは、ゼロショット物体検出（ラベル付きデータなしで画像内の物体を検出するタスク）に使用できます。

💻 使用例

基本的な使用法

import requests

import torch
from PIL import Image
from transformers import AutoProcessor, AutoModelForZeroShotObjectDetection 

model_id = "IDEA-Research/grounding-dino-tiny"
device = "cuda" if torch.cuda.is_available() else "cpu"

processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForZeroShotObjectDetection.from_pretrained(model_id).to(device)

image_url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(image_url, stream=True).raw)
# Check for cats and remote controls
# VERY important: text queries need to be lowercased + end with a dot
text = "a cat. a remote control."

inputs = processor(images=image, text=text, return_tensors="pt").to(device)
with torch.no_grad():
    outputs = model(**inputs)

results = processor.post_process_grounded_object_detection(
    outputs,
    inputs.input_ids,
    box_threshold=0.4,
    text_threshold=0.3,
    target_sizes=[image.size[::-1]]
)

BibTeX引用

@misc{liu2023grounding,
      title={Grounding DINO: Marrying DINO with Grounded Pre-Training for Open-Set Object Detection}, 
      author={Shilong Liu and Zhaoyang Zeng and Tianhe Ren and Feng Li and Hao Zhang and Jie Yang and Chunyuan Li and Jianwei Yang and Hang Su and Jun Zhu and Lei Zhang},
      year={2023},
      eprint={2303.05499},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

📄 ライセンス

このプロジェクトは、Apache-2.0ライセンスの下で提供されています。