Detr Resnet 50 Panoptic

🚀 DETR (エンドツーエンド物体検出) モデル（ResNet - 50バックボーン付き）

このモデルは、COCO 2017パノプティック（118kの注釈付き画像）でエンドツーエンドで学習されたDetection Transformer (DETR) モデルです。このモデルは、Carionらによる論文 End-to-End Object Detection with Transformers で紹介され、最初は このリポジトリ で公開されました。

なお、DETRを公開したチームはこのモデルのモデルカードを作成していないため、このモデルカードはHugging Faceチームによって作成されています。

🚀 クイックスタート

このモデルは、画像セグメンテーションや物体検出に使用できます。以下に、使用方法の例を示します。

✨ 主な機能

• エンコーダ - デコーダ型のトランスフォーマーモデルで、畳み込みバックボーンを持ちます。
• 物体検出のために、デコーダ出力の上に2つのヘッド（クラスラベル用の線形層とバウンディングボックス用のMLP）が追加されています。
• パノプティックセグメンテーションに自然に拡張できます。

📚 ドキュメント

モデルの説明

DETRモデルは、畳み込みバックボーンを持つエンコーダ - デコーダ型のトランスフォーマーです。物体検出を行うために、デコーダ出力の上に2つのヘッドが追加されています。1つはクラスラベル用の線形層、もう1つはバウンディングボックス用のMLP（多層パーセプトロン）です。このモデルは、いわゆる物体クエリを使用して画像内の物体を検出します。各物体クエリは、画像内の特定の物体を探します。COCOの場合、物体クエリの数は100に設定されています。

モデルは「二部マッチング損失」を使用して学習されます。つまり、N = 100の各物体クエリの予測クラスとバウンディングボックスを、同じ長さNにパディングされた正解注釈と比較します（例えば、画像に4つの物体しか含まれていない場合、96の注釈はクラスとして「物体なし」、バウンディングボックスとして「バウンディングボックスなし」になります）。ハンガリアンマッチングアルゴリズムを使用して、N個のクエリとN個の注釈の間に最適な1対1のマッピングを作成します。次に、標準的な交差エントロピー（クラス用）とL1損失と一般化IoU損失の線形結合（バウンディングボックス用）を使用して、モデルのパラメータを最適化します。

DETRは、デコーダ出力の上にマスクヘッドを追加することで、自然にパノプティックセグメンテーションに拡張できます。

想定される用途と制限

この生モデルはパノプティックセグメンテーションに使用できます。利用可能なすべてのDETRモデルを探すには、モデルハブ を参照してください。

使い方

以下は、このモデルの使用方法の例です。

import io
import requests
from PIL import Image
import torch
import numpy

from transformers import DetrFeatureExtractor, DetrForSegmentation
from transformers.models.detr.feature_extraction_detr import rgb_to_id

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

feature_extractor = DetrFeatureExtractor.from_pretrained("facebook/detr-resnet-50-panoptic")
model = DetrForSegmentation.from_pretrained("facebook/detr-resnet-50-panoptic")

# 画像をモデル用に準備
inputs = feature_extractor(images=image, return_tensors="pt")

# 順伝播
outputs = model(**inputs)

# `DetrFeatureExtractor` の `post_process_panoptic` メソッドを使用してCOCO形式に変換
processed_sizes = torch.as_tensor(inputs["pixel_values"].shape[-2:]).unsqueeze(0)
result = feature_extractor.post_process_panoptic(outputs, processed_sizes)[0]

# セグメンテーションは特殊形式のPNGに格納されている
panoptic_seg = Image.open(io.BytesIO(result["png_string"]))
panoptic_seg = numpy.array(panoptic_seg, dtype=numpy.uint8)
# 各マスクに対応するIDを取得
panoptic_seg_id = rgb_to_id(panoptic_seg)

現在、特徴抽出器とモデルの両方がPyTorchをサポートしています。

学習データ

DETRモデルは、COCO 2017パノプティック で学習されました。このデータセットは、学習用に118k、検証用に5kの注釈付き画像で構成されています。

学習手順

前処理

学習/検証中の画像の前処理の詳細は、こちら で確認できます。

画像は、最短辺が少なくとも800ピクセル、最長辺が最大1333ピクセルになるようにリサイズ/リスケールされ、RGBチャネル全体でImageNetの平均（0.485, 0.456, 0.406）と標準偏差（0.229, 0.224, 0.225）で正規化されます。

学習

このモデルは、16台のV100 GPUで300エポック学習されました。これには3日かかり、各GPUに4枚の画像が割り当てられています（したがって、総バッチサイズは64です）。

評価結果

このモデルは、COCO 2017の検証データセットで次の結果を達成しています。ボックスAP（平均精度）は 38.8、セグメンテーションAP（平均精度）は 31.1、PQ（パノプティック品質）は 43.4 です。

評価結果の詳細については、元の論文の表5を参照してください。

BibTeXエントリと引用情報

@article{DBLP:journals/corr/abs-2005-12872,
  author    = {Nicolas Carion and
               Francisco Massa and
               Gabriel Synnaeve and
               Nicolas Usunier and
               Alexander Kirillov and
               Sergey Zagoruyko},
  title     = {End-to-End Object Detection with Transformers},
  journal   = {CoRR},
  volume    = {abs/2005.12872},
  year      = {2020},
  url       = {https://arxiv.org/abs/2005.12872},
  archivePrefix = {arXiv},
  eprint    = {2005.12872},
  timestamp = {Thu, 28 May 2020 17:38:09 +0200},
  biburl    = {https://dblp.org/rec/journals/corr/abs-2005-12872.bib},
  bibsource = {dblp computer science bibliography, https://dblp.org}
}

📄 ライセンス

このモデルは、Apache - 2.0ライセンスの下で公開されています。