🚀 Mask2Former
Mask2Former是一个用于图像分割的模型,它采用统一范式处理实例、语义和全景分割任务,在性能和效率上表现出色。该模型在COCO全景分割数据集上进行训练,这里使用的是微小版本且采用Swin骨干网络。
🚀 快速开始
Mask2Former模型在COCO全景分割任务上进行了训练(微小版本,Swin骨干网络)。它首次在论文 Masked-attention Mask Transformer for Universal Image Segmentation 中被提出,并在 此仓库 中首次发布。
需要说明的是,发布Mask2Former的团队并未为此模型撰写模型卡片,此模型卡片由Hugging Face团队编写。
✨ 主要特性
模型描述
Mask2Former使用相同的范式来处理实例、语义和全景分割:通过预测一组掩码和相应的标签。因此,所有这3个任务都被视为实例分割。Mask2Former在性能和效率上都超越了之前的最优模型 MaskFormer,具体通过以下方式实现:
- 用更先进的多尺度可变形注意力Transformer替换像素解码器;
- 采用带掩码注意力的Transformer解码器,在不引入额外计算的情况下提升性能;
- 通过在子采样点而不是整个掩码上计算损失来提高训练效率。

预期用途与局限性
你可以使用此特定检查点进行全景分割。你可以查看 模型中心 以查找针对你感兴趣任务的其他微调版本。
📦 安装指南
文档未提及安装步骤,此部分跳过。
💻 使用示例
基础用法
import requests
import torch
from PIL import Image
from transformers import AutoImageProcessor, Mask2FormerForUniversalSegmentation
processor = AutoImageProcessor.from_pretrained("facebook/mask2former-swin-tiny-coco-panoptic")
model = Mask2FormerForUniversalSegmentation.from_pretrained("facebook/mask2former-swin-tiny-coco-panoptic")
url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)
inputs = processor(images=image, return_tensors="pt")
with torch.no_grad():
outputs = model(**inputs)
class_queries_logits = outputs.class_queries_logits
masks_queries_logits = outputs.masks_queries_logits
result = processor.post_process_panoptic_segmentation(outputs, target_sizes=[image.size[::-1]])[0]
predicted_panoptic_map = result["segmentation"]
高级用法
如需更多代码示例,请参考 文档。
📚 详细文档
文档未提供更多详细说明,此部分跳过。
🔧 技术细节
文档未提供具体的技术实现细节,此部分跳过。
📄 许可证
此模型使用其他许可证。
📋 信息表格
属性 |
详情 |
模型类型 |
用于图像分割的Mask2Former模型,在COCO全景分割数据集上训练的微小版本(Swin骨干网络) |
训练数据 |
COCO |
示例链接 |
Cats、Castle |