Rtdetr V2 R101vd

🚀 RT-DETRv2

RT-DETRv2是一個用於即時目標檢測的模型，它在RT-DETR的基礎上進行了改進，引入了選擇性多尺度特徵提取等技術，在保持即時性能的同時，增強了模型的靈活性和實用性。

✨ 主要特性

• 性能提升：在所有模型尺寸上，RT-DETRv2始終優於其前身，同時保持相同的即時速度。
• 技術改進：引入選擇性多尺度特徵提取、離散採樣算子，採用動態數據增強和自適應超參數等訓練策略。
• 應用廣泛：適用於自動駕駛、監控系統、機器人技術和零售分析等多種即時目標檢測場景。

📦 安裝指南

文檔未提供安裝步驟，故跳過該章節。

💻 使用示例

基礎用法

import torch
import requests

from PIL import Image
from transformers import RTDetrV2ForObjectDetection, RTDetrImageProcessor

url = 'http://images.cocodataset.org/val2017/000000039769.jpg'
image = Image.open(requests.get(url, stream=True).raw)

image_processor = RTDetrImageProcessor.from_pretrained("PekingU/rtdetr_v2_r101vd")
model = RTDetrV2ForObjectDetection.from_pretrained("PekingU/rtdetr_v2_r101vd")

inputs = image_processor(images=image, return_tensors="pt")

with torch.no_grad():
     outputs = model(**inputs)

results = image_processor.post_process_object_detection(outputs, target_sizes=torch.tensor([(image.height, image.width)]), threshold=0.5)

for result in results:
     for score, label_id, box in zip(result["scores"], result["labels"], result["boxes"]):
         score, label = score.item(), label_id.item()
         box = [round(i, 2) for i in box.tolist()]
         print(f"{model.config.id2label[label]}: {score:.2f} {box}")

輸出示例

cat: 0.97 [341.14, 25.11, 639.98, 372.89]
cat: 0.96 [12.78, 56.35, 317.67, 471.34]
remote: 0.95 [39.96, 73.12, 175.65, 117.44]
sofa: 0.86 [-0.11, 2.97, 639.89, 473.62]
sofa: 0.82 [-0.12, 1.78, 639.87, 473.52]
remote: 0.79 [333.65, 76.38, 370.69, 187.48]

📚 詳細文檔

概述

RT-DETRv2模型由Wenyu Lv、Yian Zhao、Qinyao Chang、Kui Huang、Guanzhong Wang和Yi Liu在論文RT-DETRv2: Improved Baseline with Bag-of-Freebies for Real-Time Detection Transformer中提出。RT-DETRv2通過引入選擇性多尺度特徵提取、離散採樣算子，以及採用動態數據增強和自適應超參數等訓練策略，對RT-DETR進行了改進。這些改進在保持即時性能的同時，增強了模型的靈活性和實用性。

該模型由@jadechoghari在@cyrilvallez和@qubvel-hf的幫助下貢獻。

性能表現

RT-DETRv2在所有模型尺寸上始終優於其前身，同時保持相同的即時速度。

訓練情況

RT-DETRv2在COCO（Lin等人，[2014]）的train2017數據集上進行訓練，並在COCO val2017數據集上進行驗證。報告了標準的AP指標（在IoU閾值從0.50 - 0.95，步長為0.05的均勻採樣範圍內求平均值），以及在實際場景中常用的APval50指標。

應用場景

RT-DETRv2非常適合用於各種即時目標檢測應用，如自動駕駛、監控系統、機器人技術和零售分析。其增強的靈活性和易於部署的設計，使其適用於邊緣設備和大規模系統，同時確保在動態的現實環境中具有高精度和高速度。

🔧 技術細節

文檔未提供足夠的技術實現細節（具體說明少於50字），故跳過該章節。

📄 許可證

本項目採用Apache-2.0許可證。