Yolos Small Balloon

🚀 YOLOS (小型) モデル：Matterportバルーンデータセットでファインチューニング済み

YOLOSは、DETR損失を用いて学習されたビジョントランスフォーマー（ViT）です。シンプルな構造でありながら、ベースサイズのYOLOSモデルはCOCO 2017バリデーションデータセットで42 AP（平均精度）を達成することができます（DETRやFaster R-CNNなどのより複雑なフレームワークと同等）。このモデルはCOCO 2017物体検出データセット（118k枚の注釈付き画像）でファインチューニングされています。YOLOSはFangらによる論文 You Only Look at One Sequence: Rethinking Transformer in Vision through Object Detection で紹介され、このリポジトリ で最初に公開されました。

✨ 主な機能

• ビジョントランスフォーマー（ViT）ベースの物体検出モデル。
• DETR損失を用いて学習され、シンプルな構造で高い精度を達成。
• COCO 2017物体検出データセットとMatterportバルーンデータセットでファインチューニングされている。

📚 ドキュメント

モデルの説明

このモデルは「二部マッチング損失」を用いて学習されています。具体的には、N = 100個の物体クエリそれぞれの予測クラスとバウンディングボックスを、同じ長さNにパディングされた正解アノテーションと比較します（例えば、画像に4つの物体しか含まれていない場合、96個のアノテーションはクラスとして「物体なし」、バウンディングボックスとして「ボックスなし」となります）。ハンガリアンマッチングアルゴリズムを用いて、N個のクエリそれぞれとN個のアノテーションそれぞれの間の最適な1対1のマッピングを作成します。次に、標準的な交差エントロピー損失（クラスに対して）とL1損失と一般化IoU損失の線形結合（バウンディングボックスに対して）を用いて、モデルのパラメータを最適化します。

現在、特徴抽出器とモデルの両方がPyTorchをサポートしています。

学習データ

このモデルは、ImageNet-1k で事前学習され、COCO 2017物体検出 データセット（それぞれ118k/5k枚の注釈付き画像を含む学習/バリデーションデータセット）でファインチューニングされています。さらに、Matterportバルーン検出データセット（74枚の注釈付き画像を含む）でファインチューニングされています。

学習

このモデルは、ImageNet-1kで200エポック事前学習され、COCOで150エポックファインチューニングされ、Matterportバルーンデータセットで96エポックファインチューニングされています。

詳細なノートブックは こちら で確認できます。

評価結果

このモデルは、Matterportバルーンバリデーションデータセットで 26.9 のAP（平均精度）を達成しています。

BibTeXエントリと引用情報

@article{DBLP:journals/corr/abs-2106-00666,
  author    = {Yuxin Fang and
               Bencheng Liao and
               Xinggang Wang and
               Jiemin Fang and
               Jiyang Qi and
               Rui Wu and
               Jianwei Niu and
               Wenyu Liu},
  title     = {You Only Look at One Sequence: Rethinking Transformer in Vision through
               Object Detection},
  journal   = {CoRR},
  volume    = {abs/2106.00666},
  year      = {2021},
  url       = {https://arxiv.org/abs/2106.00666},
  eprinttype = {arXiv},
  eprint    = {2106.00666},
  timestamp = {Fri, 29 Apr 2022 19:49:16 +0200},
  biburl    = {https://dblp.org/rec/journals/corr/abs-2106-00666.bib},
  bibsource = {dblp computer science bibliography, https://dblp.org}
}

情報テーブル