Coreml Detr Semantic Segmentation

🚀 DETR-Resnet50（語義分割）Core ML模型

本項目提供基於DETR-Resnet50的語義分割Core ML模型，可用於圖像分割任務。模型在COCO 2017目標檢測數據集上進行端到端訓練，具有良好的檢測性能。

🚀 快速開始

可在文件標籤頁查看轉換後的模型。

✨ 主要特性

• 端到端訓練：DETR模型在COCO 2017目標檢測數據集（118k帶註釋圖像）上進行端到端訓練。
• 基於Transformer架構：採用編碼器 - 解碼器Transformer結構，結合卷積骨幹網絡。
• 多變體選擇：提供不同參數精度和大小的模型變體，可根據需求選擇。

📦 安裝指南

安裝huggingface-cli

brew install huggingface-cli

下載模型

下載指定模型

將.mlpackage文件夾之一下載到models目錄：

huggingface-cli download \
  --local-dir models --local-dir-use-symlinks False \
  apple/coreml-detr-semantic-segmentation \
  --include "DETRResnet50SemanticSegmentationF16.mlpackage/*"

下載所有模型

若要下載所有內容，可省略--include參數。這將獲取float32和float16變體，以及float16變體的量化版本。

📚 詳細文檔

模型描述

DETR模型是一個帶有卷積骨幹網絡的編碼器 - 解碼器Transformer。為了執行目標檢測，在解碼器輸出之上添加了兩個頭部：一個用於類別標籤的線性層和一個用於邊界框的MLP（多層感知器）。該模型使用所謂的對象查詢來檢測圖像中的對象。每個對象查詢在圖像中尋找特定的對象。對於COCO數據集，對象查詢的數量設置為100。

模型使用“二分匹配損失”進行訓練：將N = 100個對象查詢中的每個預測類別 + 邊界框與真實標註進行比較，標註會填充到相同的長度N（因此，如果圖像僅包含4個對象，96個標註的類別將為“無對象”，邊界框為“無邊界框”）。使用匈牙利匹配算法在N個查詢和N個標註之間創建最優的一對一映射。接下來，使用標準交叉熵（用於類別）和L1與廣義IoU損失的線性組合（用於邊界框）來優化模型的參數。

評估 - 變體

IoU和像素準確率在COCO數據集中的512張圖像上進行測量。真實標籤從全景分割標註中提取，並轉換為語義分割掩碼。輸入圖像被調整大小，使較小的邊等於448，然後進行中心裁剪。

推理時間

以下結果參考DETRResnet50SemanticSegmentationF16。MacBook Pro (M1 Max) 的計算單元手動選擇為“CPU和神經引擎”。

集成到Swift應用

huggingface/coreml-examples 倉庫包含coreml-detr-semantic-segmentation和其他模型的示例Swift代碼。請參閱那裡的說明來構建演示應用，該應用展示瞭如何在自己的Swift應用中使用該模型。

📄 許可證

本項目採用Apache 2.0許可證。