Rtdetr R101vd

🚀 RT-DETR モデルカード

RT-DETRは、リアルタイム物体検出のための最先端のエンドツーエンド物体検出器で、速度と精度のバランスを最適化しました。

🚀 クイックスタート

以下のコードを使用して、モデルを始めることができます。

import torch
import requests

from PIL import Image
from transformers import RTDetrForObjectDetection, RTDetrImageProcessor

url = 'http://images.cocodataset.org/val2017/000000039769.jpg' 
image = Image.open(requests.get(url, stream=True).raw)

image_processor = RTDetrImageProcessor.from_pretrained("PekingU/rtdetr_r101vd")
model = RTDetrForObjectDetection.from_pretrained("PekingU/rtdetr_r101vd")

inputs = image_processor(images=image, return_tensors="pt")

with torch.no_grad():
    outputs = model(**inputs)

results = image_processor.post_process_object_detection(outputs, target_sizes=torch.tensor([image.size[::-1]]), threshold=0.3)

for result in results:
    for score, label_id, box in zip(result["scores"], result["labels"], result["boxes"]):
        score, label = score.item(), label_id.item()
        box = [round(i, 2) for i in box.tolist()]
        print(f"{model.config.id2label[label]}: {score:.2f} {box}")

これにより、以下のような出力が得られます。

sofa: 0.97 [0.14, 0.38, 640.13, 476.21]
cat: 0.96 [343.38, 24.28, 640.14, 371.5]
cat: 0.96 [13.23, 54.18, 318.98, 472.22]
remote: 0.95 [40.11, 73.44, 175.96, 118.48]
remote: 0.92 [333.73, 76.58, 369.97, 186.99]

✨ 主な機能

• YOLOシリーズは、速度と精度のバランスが良いため、リアルタイム物体検出で最も人気のあるフレームワークになっています。しかし、YOLOの速度と精度はNMSによって悪影響を受けます。
• 最近、エンドツーエンドのTransformerベースの検出器（DETR）は、NMSを排除する代替手段を提供しています。しかし、高い計算コストはそれらの実用性を制限し、NMSを排除する利点を十分に活用することを妨げています。
• RT-DETRは、これらの問題を解決するために提案された、最初のリアルタイムエンドツーエンド物体検出器です。
• 高速化のために、効率的なハイブリッドエンコーダを設計し、スケール内相互作用とクロススケール融合を分離して、多スケール特徴を迅速に処理します。
• 精度向上のために、不確実性最小クエリ選択を提案し、デコーダに高品質の初期クエリを提供します。
• RT-DETRは、デコーダ層の数を調整することで、再トレーニングすることなく柔軟な速度調整をサポートします。

📦 インストール

このドキュメントには具体的なインストール手順が記載されていないため、このセクションは省略されます。

💻 使用例

基本的な使用法

import torch
import requests

from PIL import Image
from transformers import RTDetrForObjectDetection, RTDetrImageProcessor

url = 'http://images.cocodataset.org/val2017/000000039769.jpg' 
image = Image.open(requests.get(url, stream=True).raw)

image_processor = RTDetrImageProcessor.from_pretrained("PekingU/rtdetr_r101vd")
model = RTDetrForObjectDetection.from_pretrained("PekingU/rtdetr_r101vd")

inputs = image_processor(images=image, return_tensors="pt")

with torch.no_grad():
    outputs = model(**inputs)

results = image_processor.post_process_object_detection(outputs, target_sizes=torch.tensor([image.size[::-1]]), threshold=0.3)

for result in results:
    for score, label_id, box in zip(result["scores"], result["labels"], result["boxes"]):
        score, label = score.item(), label_id.item()
        box = [round(i, 2) for i in box.tolist()]
        print(f"{model.config.id2label[label]}: {score:.2f} {box}")

高度な使用法

このドキュメントには高度な使用法のコード例が記載されていないため、このサブセクションは省略されます。

📚 ドキュメント

モデルの詳細

YOLOシリーズは、速度と精度の合理的なトレードオフのため、リアルタイム物体検出で最も人気のあるフレームワークになりました。しかし、YOLOの速度と精度はNMSによって悪影響を受けることがわかりました。最近、エンドツーエンドのTransformerベースの検出器（DETR）は、NMSを排除する代替手段を提供しています。しかし、高い計算コストはそれらの実用性を制限し、NMSを排除する利点を十分に活用することを妨げています。この論文では、Real-Time DEtection TRansformer（RT-DETR）を提案します。これは、私たちの知る限りでは、上記のジレンマを解決する最初のリアルタイムエンドツーエンド物体検出器です。私たちは、高度なDETRを参考にして、2段階でRT-DETRを構築します。まず、精度を維持しながら速度を向上させ、次に速度を維持しながら精度を向上させます。具体的には、効率的なハイブリッドエンコーダを設計し、スケール内相互作用とクロススケール融合を分離して、多スケール特徴を迅速に処理し、速度を向上させます。次に、不確実性最小クエリ選択を提案し、デコーダに高品質の初期クエリを提供し、精度を向上させます。さらに、RT-DETRは、デコーダ層の数を調整することで、再トレーニングすることなく柔軟な速度調整をサポートし、さまざまなシナリオに適応します。私たちのRT-DETR-R50 / R101は、COCOで53.1％ / 54.3％のAPを達成し、T4 GPUで108 / 74 FPSを達成し、以前の高度なYOLOを速度と精度の両方で上回っています。また、スケーリングされたRT-DETRを開発し、より軽量なYOLO検出器（SおよびMモデル）を上回っています。さらに、RT-DETR-R50は、精度でDINO-R50を2.2％のAPで上回り、FPSで約21倍上回っています。Objects365で事前学習した後、RT-DETR-R50 / R101は、55.3％ / 56.2％のAPを達成します。プロジェクトページはこちらhttps URL。

これは、🤗 transformers モデルのモデルカードで、Hubに公開されています。

• 開発者: Yian ZhaoとSangbum Choi
• 資金提供: 中国国家重点研究開発プログラム（No.2022ZD0118201）、中国自然科学基金（No.61972217、32071459、62176249、62006133、62271465）、および中国深セン医療研究基金（No.B2302037）。
• 共有者: Sangbum Choi
• モデルタイプ: RT-DETR
• ライセンス: Apache-2.0

モデルのソース

• HFドキュメント: RT-DETR
• リポジトリ: https://github.com/lyuwenyu/RT-DETR
• 論文: https://arxiv.org/abs/2304.08069
• デモ: RT-DETR Tracking

トレーニングの詳細

トレーニングデータ

RTDETRモデルは、COCO 2017物体検出 データセットでトレーニングされました。このデータセットは、トレーニング用に118k、検証用に5kの注釈付き画像で構成されています。

トレーニング手順

COCOおよびObjects365データセットで実験を行い、RT-DETRはCOCO train2017でトレーニングされ、COCO val2017データセットで検証されます。標準的なCOCOメトリクスを報告します。これには、AP（IoU閾値が0.50-0.95の範囲で均一にサンプリングされ、ステップサイズが0.05の平均）、AP50、AP75、および異なるスケールでのAP：APS、APM、APLが含まれます。

前処理

画像は640x640ピクセルにリサイズされ、image_mean=[0.485, 0.456, 0.406] および image_std=[0.229, 0.224, 0.225] で再スケールされます。

トレーニングハイパーパラメータ

• トレーニング方式:

評価

モデルアーキテクチャと目的

RT-DETRの概要。バックボーンの最後の3つのステージからの特徴をエンコーダに入力します。効率的なハイブリッドエンコーダは、Attentionベースのスケール内特徴相互作用（AIFI）とCNNベースのクロススケール特徴融合（CCFF）によって、多スケール特徴を画像特徴のシーケンスに変換します。次に、不確実性最小クエリ選択は、デコーダの初期物体クエリとして機能する固定数のエンコーダ特徴を選択します。最後に、補助予測ヘッド付きのデコーダは、物体クエリを反復的に最適化して、カテゴリとボックスを生成します。

🔧 技術詳細

このドキュメントには具体的な技術詳細が記載されていないため、このセクションは省略されます。

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。

引用

BibTeX:

@misc{lv2023detrs,
      title={DETRs Beat YOLOs on Real-time Object Detection},
      author={Yian Zhao and Wenyu Lv and Shangliang Xu and Jinman Wei and Guanzhong Wang and Qingqing Dang and Yi Liu and Jie Chen},
      year={2023},
      eprint={2304.08069},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

モデルカード作成者

Sangbum Choi
Pavel Iakubovskii