Grounding Dino Base

🚀 Grounding DINOモデル (ベースバリアント)

Grounding DINOモデルは、オープンセット物体検出のためにDINOとグラウンディング事前学習を組み合わせたモデルです。このモデルは、テキストエンコーダを用いてクローズドセット物体検出モデルを拡張し、オープンセット物体検出を可能にします。COCOデータセットのゼロショット設定で52.5 APという高い精度を達成しています。

Grounding DINOの概要。原著論文より引用。

🚀 クイックスタート

このモデルは、ゼロショット物体検出タスクに使用できます。つまり、ラベル付きデータを使わずに画像内の物体を検出することができます。

💻 使用例

基本的な使用法

import requests

import torch
from PIL import Image
from transformers import AutoProcessor, AutoModelForZeroShotObjectDetection 

model_id = "IDEA-Research/grounding-dino-base"
device = "cuda" if torch.cuda.is_available() else "cpu"

processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForZeroShotObjectDetection.from_pretrained(model_id).to(device)

image_url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(image_url, stream=True).raw)
# Check for cats and remote controls
# VERY important: text queries need to be lowercased + end with a dot
text = "a cat. a remote control."

inputs = processor(images=image, text=text, return_tensors="pt").to(device)
with torch.no_grad():
    outputs = model(**inputs)

results = processor.post_process_grounded_object_detection(
    outputs,
    inputs.input_ids,
    box_threshold=0.4,
    text_threshold=0.3,
    target_sizes=[image.size[::-1]]
)

📄 ライセンス

このプロジェクトは、Apache-2.0ライセンスの下で提供されています。

BibTeXエントリと引用情報

@misc{liu2023grounding,
      title={Grounding DINO: Marrying DINO with Grounded Pre-Training for Open-Set Object Detection}, 
      author={Shilong Liu and Zhaoyang Zeng and Tianhe Ren and Feng Li and Hao Zhang and Jie Yang and Chunyuan Li and Jianwei Yang and Hang Su and Jun Zhu and Lei Zhang},
      year={2023},
      eprint={2303.05499},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}