Maskformer Swin Base Ade

🚀 MaskFormer

MaskFormerは、ADE20kセマンティックセグメンテーションデータセットで訓練されたモデルです（基礎サイズバージョン、Swinバックボーンネットワークを使用）。このモデルは論文 Per-Pixel Classification is Not All You Need for Semantic Segmentation で提案され、初めて このリポジトリ で公開されました。このモデルは、同じパラダイムを使用してインスタンスセグメンテーション、セマンティックセグメンテーション、パノラマセグメンテーションタスクを処理でき、重要な研究および応用価値を持っています。

🚀 クイックスタート

モデルの説明

MaskFormerは、インスタンスセグメンテーション、セマンティックセグメンテーション、パノラマセグメンテーションを同じパラダイムで処理します。具体的には、一連のマスクと対応するラベルを予測することで、これら3つのタスクをすべてインスタンスセグメンテーションタスクとして扱います。

想定される用途と制限

この特定のチェックポイントを使用してセマンティックセグメンテーションを行うことができます。 モデルセンター を参照して、関心のあるタスクに対して微調整された他のバージョンを見つけてください。

使用方法

以下は、このモデルを使用する方法のサンプルコードです。

from transformers import MaskFormerFeatureExtractor, MaskFormerForInstanceSegmentation
from PIL import Image
import requests

url = "https://huggingface.co/datasets/hf-internal-testing/fixtures_ade20k/resolve/main/ADE_val_00000001.jpg"
image = Image.open(requests.get(url, stream=True).raw)
feature_extractor = MaskFormerFeatureExtractor.from_pretrained("facebook/maskformer-swin-base-ade")
inputs = feature_extractor(images=image, return_tensors="pt")

model = MaskFormerForInstanceSegmentation.from_pretrained("facebook/maskformer-swin-base-ade")
outputs = model(**inputs)
# モデル予測のclass_queries_logitsの形状は `(batch_size, num_queries)`
# およびmasks_queries_logitsの形状は `(batch_size, num_queries, height, width)`
class_queries_logits = outputs.class_queries_logits
masks_queries_logits = outputs.masks_queries_logits

# それらをfeature_extractorに渡して後処理を行うことができます
# 可視化についてはデモノートブックを参照してください（MaskFormerドキュメントの「リソース」セクションを参照）
predicted_semantic_map = feature_extractor.post_process_semantic_segmentation(outputs, target_sizes=[image.size[::-1]])[0]

詳細なコード例は ドキュメント を参照してください。

📄 ライセンス

ライセンスタイプ：その他

⚠️ 重要な注意事項

MaskFormerを公開したチームはこのモデルのモデルカードを作成していません。このモデルカードはHugging Faceチームによって作成されました。

サンプルの表示

• 住宅のサンプル
• 城のサンプル