Coreml Detr Semantic Segmentation

🚀 DETR-Resnet50 (セマンティックセグメンテーション) Core MLモデル

変換されたモデルについては、Filesタブを参照してください。

DEtection TRansformer (DETR) モデルは、COCO 2017オブジェクト検出 (118kの注釈付き画像) でエンドツーエンドでトレーニングされています。このモデルは、Carionらによる論文 End-to-End Object Detection with Transformers で紹介され、最初は このリポジトリ で公開されました。

🚀 クイックスタート

このドキュメントでは、DETR-Resnet50のセマンティックセグメンテーション用Core MLモデルについて説明します。モデルの説明、評価結果、推論時間、ダウンロード方法、およびSwiftアプリへの統合方法を提供します。

✨ 主な機能

• COCO 2017データセットでエンドツーエンドでトレーニングされたオブジェクト検出モデル。
• エンコーダーデコーダートランスフォーマーアーキテクチャを使用。
• セマンティックセグメンテーションタスクに適用可能。

📚 ドキュメント

モデルの説明

DETRモデルは、畳み込みバックボーンを持つエンコーダーデコーダートランスフォーマーです。オブジェクト検出を行うために、デコーダー出力の上に2つのヘッドが追加されています：クラスラベル用の線形層とバウンディングボックス用のMLP（多層パーセプトロン）です。このモデルは、いわゆるオブジェクトクエリを使用して画像内のオブジェクトを検出します。各オブジェクトクエリは、画像内の特定のオブジェクトを探します。COCOの場合、オブジェクトクエリの数は100に設定されています。

モデルは「二部マッチング損失」を使用してトレーニングされます：N = 100の各オブジェクトクエリの予測クラス + バウンディングボックスを、同じ長さNにパディングされた正解アノテーションと比較します（つまり、画像に4つのオブジェクトしか含まれていない場合、96のアノテーションはクラスとして「オブジェクトなし」、バウンディングボックスとして「バウンディングボックスなし」になります）。ハンガリアンマッチングアルゴリズムを使用して、N個のクエリとN個のアノテーションの間に最適な1対1のマッピングを作成します。次に、標準的な交差エントロピー（クラス用）とL1損失と一般化IoU損失の線形結合（バウンディングボックス用）を使用して、モデルのパラメータを最適化します。

評価 - バリアント

IoUとピクセル精度は、COCOデータセットの512枚の画像で測定されました。正解ラベルは、パノプティックセグメンテーションアノテーションから抽出され、セマンティックセグメンテーションマスクに変換されました。入力画像は、短辺が448になるようにリサイズされ、次に中央でクロップされました。

推論時間

以下の結果は、DETRResnet50SemanticSegmentationF16に関するものです。MacBook Pro (M1 Max) のコンピュートユニットは、手動で「CPUとニューラルエンジン」に設定されました。

📦 インストール

ダウンロード

huggingface-cliをインストールします。

brew install huggingface-cli

.mlpackageフォルダの1つをmodelsディレクトリにダウンロードするには：

huggingface-cli download \
  --local-dir models --local-dir-use-symlinks False \
  apple/coreml-detr-semantic-segmentation \
  --include "DETRResnet50SemanticSegmentationF16.mlpackage/*"

すべてをダウンロードするには、--include引数を省略します。これにより、float32とfloat16のバリアント、およびfloat16バリアントの量子化バージョンが取得されます。

💻 使用例

Swiftアプリへの統合

huggingface/coreml-examples リポジトリには、coreml-detr-semantic-segmentationや他のモデルのサンプルSwiftコードが含まれています。そこの説明 を参照して、デモアプリをビルドし、モデルを独自のSwiftアプリで使用する方法を確認してください。

📄 ライセンス

このプロジェクトは、Apache 2.0ライセンスの下でライセンスされています。