Maskformer Swin Small Coco

🚀 MaskFormer

MaskFormer是一个在COCO全景分割任务上训练的模型（小尺寸版本，采用Swin骨干网络）。它能以相同的范式处理实例分割、语义分割和全景分割任务，为相关领域的图像分割工作提供了高效的解决方案。

🚀 快速开始

MaskFormer模型在COCO全景分割任务上进行了训练（小尺寸版本，采用Swin骨干网络）。它首次在论文Per-Pixel Classification is Not All You Need for Semantic Segmentation中被提出，并在此仓库中首次发布。

需要说明的是，发布MaskFormer的团队并未为此模型撰写模型卡片，此模型卡片由Hugging Face团队编写。

✨ 主要特性

统一范式处理多任务

MaskFormer采用相同的范式来处理实例分割、语义分割和全景分割任务，即通过预测一组掩码和相应的标签，将这3种任务都视为实例分割任务进行处理。

架构展示

📚 详细文档

预期用途和限制

你可以使用此特定的检查点进行语义分割任务。若想查找针对其他感兴趣任务的微调版本模型，可查看模型中心。

使用方法

以下是使用此模型的示例代码：

from transformers import MaskFormerFeatureExtractor, MaskFormerForInstanceSegmentation
from PIL import Image
import requests

# 加载在COCO全景分割任务上微调的MaskFormer模型
feature_extractor = MaskFormerFeatureExtractor.from_pretrained("facebook/maskformer-swin-small-coco")
model = MaskFormerForInstanceSegmentation.from_pretrained("facebook/maskformer-swin-small-coco")

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)
inputs = feature_extractor(images=image, return_tensors="pt")

outputs = model(**inputs)
# 模型预测的class_queries_logits形状为 `(batch_size, num_queries)`
# 模型预测的masks_queries_logits形状为 `(batch_size, num_queries, height, width)`
class_queries_logits = outputs.class_queries_logits
masks_queries_logits = outputs.masks_queries_logits

# 你可以将它们传递给feature_extractor进行后处理
result = feature_extractor.post_process_panoptic_segmentation(outputs, target_sizes=[image.size[::-1]])[0]
# 关于可视化操作，可参考演示笔记本（见MaskFormer文档的“资源”部分）
predicted_panoptic_map = result["segmentation"]

更多代码示例可参考文档。

📄 许可证

许可证类型：other

📋 模型信息