RT DETRv2

🚀 トランスフォーマー

これはRT - DETRv2のHFトランスフォーマー実装です。

🚀 クイックスタート

RT - DETRv2は、改良されたリアルタイム物体検出トランスフォーマー（RT - DETR）です。RT - DETRv2は、従来の最先端のリアルタイム検出器であるRT - DETRをベースに構築されており、柔軟性と実用性のための一連の無料アイテムを開発し、トレーニング戦略を最適化して性能を向上させています。柔軟性を向上させるために、変形可能なアテンションにおいて異なるスケールの特徴に対して異なる数のサンプリングポイントを設定し、デコーダによる選択的なマルチスケール特徴抽出を実現することを提案しています。

💻 使用例

基本的な使用法

import torch
import requests

from PIL import Image
from transformers import RTDetrForObjectDetection, RTDetrImageProcessor

url = 'http://images.cocodataset.org/val2017/000000039769.jpg'
image = Image.open(requests.get(url, stream=True).raw)

image_processor = RTDetrImageProcessor.from_pretrained("jadechoghari/RT-DETRv2")
model = RTDetrForObjectDetection.from_pretrained("jadechoghari/RT-DETRv2")

inputs = image_processor(images=image, return_tensors="pt")

with torch.no_grad():
    outputs = model(**inputs)

results = image_processor.post_process_object_detection(outputs, target_sizes=torch.tensor([image.size[::-1]]), threshold=0.3)

for result in results:
    for score, label_id, box in zip(result["scores"], result["labels"], result["boxes"]):
        score, label = score.item(), label_id.item()
        box = [round(i, 2) for i in box.tolist()]
        print(f"{model.config.id2label[label]}: {score:.2f} {box}")