Maskformer Swin Base Ade

🚀 MaskFormer

MaskFormer是一个在ADE20k语义分割数据集上训练的模型（基础尺寸版本，采用Swin骨干网络）。它在论文 Per-Pixel Classification is Not All You Need for Semantic Segmentation 中被提出，并首次在 此仓库 中发布。该模型能够使用相同的范式处理实例分割、语义分割和全景分割任务，具有重要的研究和应用价值。

🚀 快速开始

模型描述

MaskFormer使用相同的范式处理实例分割、语义分割和全景分割：通过预测一组掩码和相应的标签。因此，这3个任务都被视为实例分割任务。

预期用途和限制

你可以使用此特定检查点进行语义分割。查看 模型中心 以查找针对你感兴趣的任务进行微调的其他版本。

使用方法

以下是如何使用此模型的示例代码：

from transformers import MaskFormerFeatureExtractor, MaskFormerForInstanceSegmentation
from PIL import Image
import requests

url = "https://huggingface.co/datasets/hf-internal-testing/fixtures_ade20k/resolve/main/ADE_val_00000001.jpg"
image = Image.open(requests.get(url, stream=True).raw)
feature_extractor = MaskFormerFeatureExtractor.from_pretrained("facebook/maskformer-swin-base-ade")
inputs = feature_extractor(images=image, return_tensors="pt")

model = MaskFormerForInstanceSegmentation.from_pretrained("facebook/maskformer-swin-base-ade")
outputs = model(**inputs)
# 模型预测的class_queries_logits形状为 `(batch_size, num_queries)`
# 以及masks_queries_logits形状为 `(batch_size, num_queries, height, width)`
class_queries_logits = outputs.class_queries_logits
masks_queries_logits = outputs.masks_queries_logits

# 你可以将它们传递给feature_extractor进行后处理
# 我们参考演示笔记本进行可视化（请参阅MaskFormer文档中的“资源”部分）
predicted_semantic_map = feature_extractor.post_process_semantic_segmentation(outputs, target_sizes=[image.size[::-1]])[0]

更多代码示例请参考 文档。

📄 许可证

许可证类型：其他

⚠️ 重要提示

发布MaskFormer的团队并未为此模型编写模型卡片，此模型卡片由Hugging Face团队编写。

示例展示

• 房屋示例
• 城堡示例