Maskformer Swin Small Coco

🚀 MaskFormer

MaskFormerは、COCO全景セグメンテーションタスクでトレーニングされたモデル（小サイズ版、Swinバックボーンネットワークを使用）です。このモデルは、インスタンスセグメンテーション、セマンティックセグメンテーション、および全景セグメンテーションタスクを同じパラダイムで処理でき、関連分野の画像セグメンテーション作業に効率的な解決策を提供します。

🚀 クイックスタート

MaskFormerモデルは、COCO全景セグメンテーションタスクでトレーニングされています（小サイズ版、Swinバックボーンネットワークを使用）。このモデルは、論文Per-Pixel Classification is Not All You Need for Semantic Segmentationで初めて提案され、このリポジトリで初めて公開されました。

なお、MaskFormerを公開したチームはこのモデルのモデルカードを作成していません。このモデルカードはHugging Faceチームによって作成されています。

✨ 主な機能

統一パラダイムによる多タスク処理

MaskFormerは、インスタンスセグメンテーション、セマンティックセグメンテーション、および全景セグメンテーションタスクを同じパラダイムで処理します。具体的には、一連のマスクと対応するラベルを予測することで、これら3つのタスクをすべてインスタンスセグメンテーションタスクとして扱います。

アーキテクチャの表示

📚 ドキュメント

想定される用途と制限

この特定のチェックポイントを使用して、セマンティックセグメンテーションタスクを実行できます。他の関心のあるタスクに対する微調整バージョンのモデルを探す場合は、モデルセンターを参照してください。

使用方法

以下は、このモデルを使用するサンプルコードです。

from transformers import MaskFormerFeatureExtractor, MaskFormerForInstanceSegmentation
from PIL import Image
import requests

# COCO全景セグメンテーションタスクで微調整されたMaskFormerモデルをロード
feature_extractor = MaskFormerFeatureExtractor.from_pretrained("facebook/maskformer-swin-small-coco")
model = MaskFormerForInstanceSegmentation.from_pretrained("facebook/maskformer-swin-small-coco")

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)
inputs = feature_extractor(images=image, return_tensors="pt")

outputs = model(**inputs)
# モデルが予測したclass_queries_logitsの形状は `(batch_size, num_queries)`
# モデルが予測したmasks_queries_logitsの形状は `(batch_size, num_queries, height, width)`
class_queries_logits = outputs.class_queries_logits
masks_queries_logits = outputs.masks_queries_logits

# これらをfeature_extractorに渡して後処理を行うことができます
result = feature_extractor.post_process_panoptic_segmentation(outputs, target_sizes=[image.size[::-1]])[0]
# 可視化操作については、デモノートブック（MaskFormerドキュメントの「リソース」セクションを参照）を参照してください
predicted_panoptic_map = result["segmentation"]

さらなるコード例は、ドキュメントを参照してください。

📄 ライセンス

ライセンスタイプ：other

📋 モデル情報