Maskformer Swin Tiny Ade

🚀 MaskFormer

MaskFormerは、ADE20kのセマンティックセグメンテーションで学習されたモデルです（tinyサイズ版、Swinバックボーン）。このモデルは論文 Per-Pixel Classification is Not All You Need for Semantic Segmentation で紹介され、このリポジトリ で最初に公開されました。

なお、MaskFormerを公開したチームはこのモデルのモデルカードを作成していないため、このモデルカードはHugging Faceチームによって作成されています。

✨ 主な機能

モデルの説明

MaskFormerは、同じパラダイムでインスタンスセグメンテーション、セマンティックセグメンテーション、パノプティックセグメンテーションを扱います。具体的には、一連のマスクと対応するラベルを予測することで、3つのタスクすべてをインスタンスセグメンテーションとして扱います。

想定される用途と制限

この特定のチェックポイントはセマンティックセグメンテーションに使用できます。他のタスクに対して微調整されたバージョンを探すには、モデルハブ を参照してください。

📦 インストール

原READMEにインストール手順に関する具体的なコマンドが記載されていないため、このセクションは省略されます。

💻 使用例

基本的な使用法

from transformers import MaskFormerFeatureExtractor, MaskFormerForInstanceSegmentation
from PIL import Image
import requests

url = "https://huggingface.co/datasets/hf-internal-testing/fixtures_ade20k/resolve/main/ADE_val_00000001.jpg"
image = Image.open(requests.get(url, stream=True).raw)
feature_extractor = MaskFormerFeatureExtractor.from_pretrained("facebook/maskformer-swin-tiny-ade")
inputs = feature_extractor(images=image, return_tensors="pt")

model = MaskFormerForInstanceSegmentation.from_pretrained("facebook/maskformer-swin-tiny-ade")
outputs = model(**inputs)
# モデルは形状が `(batch_size, num_queries)` の class_queries_logits と
# 形状が `(batch_size, num_queries, height, width)` の masks_queries_logits を予測します
class_queries_logits = outputs.class_queries_logits
masks_queries_logits = outputs.masks_queries_logits

# これらを後処理のために feature_extractor に渡すことができます
# 可視化についてはデモノートブックを参照してください（MaskFormerのドキュメントの「リソース」セクションを参照）
predicted_semantic_map = feature_extractor.post_process_semantic_segmentation(outputs, target_sizes=[image.size[::-1]])[0]

高度な使用法

より多くのコード例については、ドキュメント を参照してください。

📚 ドキュメント

原READMEに高度な詳細説明が記載されていないため、このセクションは省略されます。

🔧 技術詳細

原READMEに技術的な実装詳細が50文字以上記載されていないため、このセクションは省略されます。

📄 ライセンス

ライセンスはotherです。