Rtdetr R101vd

🚀 RT-DETR 模型卡片

RT-DETR 是首個即時端到端目標檢測器，解決了現有目標檢測模型在速度和精度平衡上的難題。它通過高效混合編碼器和不確定性最小查詢選擇等方法，在速度和精度上均超越了之前先進的 YOLO 系列模型，並且支持靈活的速度調整以適應不同場景。

🚀 快速開始

使用以下代碼開始使用該模型：

import torch
import requests

from PIL import Image
from transformers import RTDetrForObjectDetection, RTDetrImageProcessor

url = 'http://images.cocodataset.org/val2017/000000039769.jpg' 
image = Image.open(requests.get(url, stream=True).raw)

image_processor = RTDetrImageProcessor.from_pretrained("PekingU/rtdetr_r101vd")
model = RTDetrForObjectDetection.from_pretrained("PekingU/rtdetr_r101vd")

inputs = image_processor(images=image, return_tensors="pt")

with torch.no_grad():
    outputs = model(**inputs)

results = image_processor.post_process_object_detection(outputs, target_sizes=torch.tensor([image.size[::-1]]), threshold=0.3)

for result in results:
    for score, label_id, box in zip(result["scores"], result["labels"], result["boxes"]):
        score, label = score.item(), label_id.item()
        box = [round(i, 2) for i in box.tolist()]
        print(f"{model.config.id2label[label]}: {score:.2f} {box}")

這段代碼的輸出應該如下：

sofa: 0.97 [0.14, 0.38, 640.13, 476.21]
cat: 0.96 [343.38, 24.28, 640.14, 371.5]
cat: 0.96 [13.23, 54.18, 318.98, 472.22]
remote: 0.95 [40.11, 73.44, 175.96, 118.48]
remote: 0.92 [333.73, 76.58, 369.97, 186.99]

✨ 主要特性

• 解決速度與精度難題：YOLO 系列在即時目標檢測中很受歡迎，但速度和精度受 NMS 影響；基於 Transformer 的 DETR 雖可消除 NMS，但計算成本高。RT-DETR 是首個即時端到端目標檢測器，解決了上述困境。
• 分兩步構建模型：借鑑先進的 DETR，先在保持精度的同時提高速度，再在保持速度的同時提高精度。
• 高效混合編碼器：通過解耦尺度內交互和跨尺度融合，設計了高效混合編碼器，快速處理多尺度特徵，提高速度。
• 不確定性最小查詢選擇：提出不確定性最小查詢選擇，為解碼器提供高質量初始查詢，提高精度。
• 靈活速度調整：支持通過調整解碼器層數靈活調整速度，適應各種場景，無需重新訓練。
• 性能超越現有模型：RT-DETR-R50 / R101 在 COCO 上達到 53.1% / 54.3% 的 AP，在 T4 GPU 上達到 108 / 74 FPS，在速度和精度上均超越之前先進的 YOLO 模型。

📦 安裝指南

文檔未提供具體安裝命令，故跳過此章節。

💻 使用示例

基礎用法

import torch
import requests

from PIL import Image
from transformers import RTDetrForObjectDetection, RTDetrImageProcessor

url = 'http://images.cocodataset.org/val2017/000000039769.jpg' 
image = Image.open(requests.get(url, stream=True).raw)

image_processor = RTDetrImageProcessor.from_pretrained("PekingU/rtdetr_r101vd")
model = RTDetrForObjectDetection.from_pretrained("PekingU/rtdetr_r101vd")

inputs = image_processor(images=image, return_tensors="pt")

with torch.no_grad():
    outputs = model(**inputs)

results = image_processor.post_process_object_detection(outputs, target_sizes=torch.tensor([image.size[::-1]]), threshold=0.3)

for result in results:
    for score, label_id, box in zip(result["scores"], result["labels"], result["boxes"]):
        score, label = score.item(), label_id.item()
        box = [round(i, 2) for i in box.tolist()]
        print(f"{model.config.id2label[label]}: {score:.2f} {box}")

高級用法

文檔未提供高級用法代碼示例，故跳過此部分。

📚 詳細文檔

模型詳情

YOLO 系列由於在速度和精度之間進行了合理的權衡，已成為即時目標檢測最流行的框架。然而，我們觀察到 YOLO 的速度和精度受到 NMS 的負面影響。最近，基於端到端 Transformer 的檢測器（DETR）提供了一種消除 NMS 的替代方案。然而，高計算成本限制了它們的實用性，並阻礙了它們充分發揮排除 NMS 的優勢。在本文中，我們提出了即時檢測 Transformer（RT-DETR），據我們所知，這是第一個解決上述困境的即時端到端目標檢測器。我們借鑑先進的 DETR，分兩步構建 RT-DETR：首先，我們專注於在提高速度的同時保持精度，然後在保持速度的同時提高精度。具體來說，我們設計了一個高效的混合編碼器，通過解耦尺度內交互和跨尺度融合來快速處理多尺度特徵，以提高速度。然後，我們提出了不確定性最小查詢選擇，為解碼器提供高質量的初始查詢，從而提高精度。此外，RT-DETR 支持通過調整解碼器層數來靈活調整速度，以適應各種場景，而無需重新訓練。我們的 RT-DETR-R50 / R101 在 COCO 上達到 53.1% / 54.3% 的 AP，在 T4 GPU 上達到 108 / 74 FPS，在速度和精度上均優於之前先進的 YOLO。我們還開發了縮放版的 RT-DETR，優於較輕量級的 YOLO 檢測器（S 和 M 模型）。此外，RT-DETR-R50 在精度上比 DINO-R50 高 2.2% 的 AP，在 FPS 上約高 21 倍。在使用 Objects365 進行預訓練後，RT-DETR-R50 / R101 達到 55.3% / 56.2% 的 AP。項目頁面：https URL。

模型來源

• HF 文檔：RT-DETR
• 代碼倉庫：https://github.com/lyuwenyu/RT-DETR
• 論文：https://arxiv.org/abs/2304.08069
• 演示：RT-DETR Tracking

訓練詳情

訓練數據

RTDETR 模型在 COCO 2017 目標檢測 數據集上進行訓練，該數據集分別包含 118k/5k 張帶註釋的圖像用於訓練/驗證。

訓練過程

我們在 COCO 和 Objects365 數據集上進行實驗，其中 RT-DETR 在 COCO train2017 上訓練，在 COCO val2017 數據集上驗證。我們報告標準的 COCO 指標，包括 AP（在從 0.50 - 0.95 均勻採樣的 IoU 閾值上平均，步長為 0.05）、AP50、AP75，以及不同尺度的 AP：APS、APM、APL。

預處理

圖像被調整為 640x640 像素，並使用 image_mean=[0.485, 0.456, 0.406] 和 image_std=[0.229, 0.224, 0.225] 進行重新縮放。

評估

模型架構與目標

RT-DETR 概述。我們將骨幹網絡最後三個階段的特徵輸入到編碼器中。高效混合編碼器通過基於注意力的尺度內特徵交互（AIFI）和基於 CNN 的跨尺度特徵融合（CCFF）將多尺度特徵轉換為圖像特徵序列。然後，不確定性最小查詢選擇選擇固定數量的編碼器特徵作為解碼器的初始對象查詢。最後，帶有輔助預測頭的解碼器迭代優化對象查詢，以生成類別和邊界框。

🔧 技術細節

文檔未提供超過 50 字的具體技術說明，故跳過此章節。

📄 許可證

本模型使用 Apache-2.0 許可證。

📚 引用

@misc{lv2023detrs,
      title={DETRs Beat YOLOs on Real-time Object Detection},
      author={Yian Zhao and Wenyu Lv and Shangliang Xu and Jinman Wei and Guanzhong Wang and Qingqing Dang and Yi Liu and Jie Chen},
      year={2023},
      eprint={2304.08069},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

模型卡片作者

• Sangbum Choi
• Pavel Iakubovskii