Rtdetr R18vd

🚀 RT-DETR实时目标检测模型

RT-DETR是首个实时端到端目标检测器，有效解决了实时目标检测中速度与精度平衡的难题。它通过高效混合编码器和不确定性最小查询选择等技术，在速度和精度上超越了之前先进的YOLO系列模型，且支持灵活的速度调整以适应不同场景。

🚀 快速开始

使用以下代码开始使用该模型：

import torch
import requests

from PIL import Image
from transformers import RTDetrForObjectDetection, RTDetrImageProcessor

url = 'http://images.cocodataset.org/val2017/000000039769.jpg' 
image = Image.open(requests.get(url, stream=True).raw)

image_processor = RTDetrImageProcessor.from_pretrained("PekingU/rtdetr_r18vd")
model = RTDetrForObjectDetection.from_pretrained("PekingU/rtdetr_r18vd")

inputs = image_processor(images=image, return_tensors="pt")

with torch.no_grad():
    outputs = model(**inputs)

results = image_processor.post_process_object_detection(outputs, target_sizes=torch.tensor([image.size[::-1]]), threshold=0.3)

for result in results:
    for score, label_id, box in zip(result["scores"], result["labels"], result["boxes"]):
        score, label = score.item(), label_id.item()
        box = [round(i, 2) for i in box.tolist()]
        print(f"{model.config.id2label[label]}: {score:.2f} {box}")

此代码应输出：

sofa: 0.97 [0.14, 0.38, 640.13, 476.21]
cat: 0.96 [343.38, 24.28, 640.14, 371.5]
cat: 0.96 [13.23, 54.18, 318.98, 472.22]
remote: 0.95 [40.11, 73.44, 175.96, 118.48]
remote: 0.92 [333.73, 76.58, 369.97, 186.99]

✨ 主要特性

• 解决YOLO系列难题：YOLO系列在实时目标检测中因非极大值抑制（NMS）影响速度和精度，而基于Transformer的端到端检测器（DETRs）虽可消除NMS，但计算成本高限制了实用性。RT-DETR有效解决了这一困境。
• 分两步构建模型：借鉴先进的DETR，先在保持精度的同时提高速度，再在保持速度的同时提高精度。
• 高效混合编码器：通过解耦尺度内交互和跨尺度融合，设计了高效混合编码器，可快速处理多尺度特征，提高速度。
• 不确定性最小查询选择：提出不确定性最小查询选择方法，为解码器提供高质量初始查询，从而提高精度。
• 灵活速度调整：支持通过调整解码器层数进行灵活的速度调整，无需重新训练即可适应各种场景。
• 性能超越YOLO：RT-DETR-R50 / R101在COCO数据集上达到53.1% / 54.3%的平均精度（AP），在T4 GPU上达到108 / 74帧每秒（FPS），在速度和精度上均优于之前先进的YOLO系列模型。

📦 安装指南

文档未提供具体安装步骤，暂不展示。

💻 使用示例

基础用法

import torch
import requests

from PIL import Image
from transformers import RTDetrForObjectDetection, RTDetrImageProcessor

url = 'http://images.cocodataset.org/val2017/000000039769.jpg' 
image = Image.open(requests.get(url, stream=True).raw)

image_processor = RTDetrImageProcessor.from_pretrained("PekingU/rtdetr_r18vd")
model = RTDetrForObjectDetection.from_pretrained("PekingU/rtdetr_r18vd")

inputs = image_processor(images=image, return_tensors="pt")

with torch.no_grad():
    outputs = model(**inputs)

results = image_processor.post_process_object_detection(outputs, target_sizes=torch.tensor([image.size[::-1]]), threshold=0.3)

for result in results:
    for score, label_id, box in zip(result["scores"], result["labels"], result["boxes"]):
        score, label = score.item(), label_id.item()
        box = [round(i, 2) for i in box.tolist()]
        print(f"{model.config.id2label[label]}: {score:.2f} {box}")

高级用法

文档未提供高级用法代码示例，暂不展示。

📚 详细文档

模型详情

YOLO系列由于在速度和精度之间取得了合理的平衡，已成为实时目标检测最流行的框架。然而，我们观察到YOLO的速度和精度受到非极大值抑制（NMS）的负面影响。最近，基于端到端Transformer的检测器（DETRs）提供了一种消除NMS的替代方案。然而，高计算成本限制了它们的实用性，并阻碍了它们充分发挥排除NMS的优势。在本文中，我们提出了实时检测Transformer（RT-DETR），据我们所知，这是第一个解决上述困境的实时端到端目标检测器。我们分两步构建RT-DETR，借鉴先进的DETR：首先，我们专注于在提高速度的同时保持精度，然后在保持速度的同时提高精度。具体来说，我们设计了一个高效的混合编码器，通过解耦尺度内交互和跨尺度融合来快速处理多尺度特征，以提高速度。然后，我们提出了不确定性最小查询选择，为解码器提供高质量的初始查询，从而提高精度。此外，RT-DETR支持通过调整解码器层数进行灵活的速度调整，以适应各种场景，无需重新训练。我们的RT-DETR-R50 / R101在COCO数据集上达到53.1% / 54.3%的平均精度（AP），在T4 GPU上达到108 / 74帧每秒（FPS），在速度和精度上均优于之前先进的YOLO系列模型。我们还开发了缩放版的RT-DETR，性能优于更轻量级的YOLO检测器（S和M模型）。此外，RT-DETR-R50在精度上比DINO-R50高2.2%的AP，在FPS上约高21倍。在使用Objects365进行预训练后，RT-DETR-R50 / R101达到55.3% / 56.2%的AP。项目页面：点击查看。

模型来源

• HF文档：RT-DETR
• 代码仓库：https://github.com/lyuwenyu/RT-DETR
• 论文：https://arxiv.org/abs/2304.08069
• 演示：RT-DETR跟踪

训练详情

训练数据

RT-DETR模型在COCO 2017目标检测数据集上进行训练，该数据集分别包含118k/5k张用于训练/验证的标注图像。

训练过程

我们在COCO和Objects365数据集上进行实验，其中RT-DETR在COCO train2017数据集上进行训练，并在COCO val2017数据集上进行验证。我们报告了标准的COCO指标，包括平均精度（AP，在从0.50到0.95的均匀采样交并比（IoU）阈值上平均，步长为0.05）、AP50、AP75，以及不同尺度下的AP：APS、APM、APL。

预处理

图像被调整为640x640像素，并使用image_mean=[0.485, 0.456, 0.406]和image_std=[0.229, 0.224, 0.225]进行重新缩放。

训练超参数

评估

模型架构与目标

RT-DETR概述。我们将骨干网络最后三个阶段的特征输入编码器。高效混合编码器通过基于注意力的尺度内特征交互（AIFI）和基于卷积神经网络的跨尺度特征融合（CCFF）将多尺度特征转换为图像特征序列。然后，不确定性最小查询选择选择固定数量的编码器特征作为解码器的初始目标查询。最后，带有辅助预测头的解码器迭代优化目标查询，以生成类别和边界框。

🔧 技术细节

文档未提供具体技术实现细节，暂不展示。

📄 许可证

本模型采用Apache-2.0许可证。

📚 引用信息

BibTeX：

@misc{lv2023detrs,
      title={DETRs Beat YOLOs on Real-time Object Detection},
      author={Yian Zhao and Wenyu Lv and Shangliang Xu and Jinman Wei and Guanzhong Wang and Qingqing Dang and Yi Liu and Jie Chen},
      year={2023},
      eprint={2304.08069},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

模型卡片作者

• Sangbum Choi
• Pavel Iakubovskii