🚀 MaskFormer
MaskFormer是一個在ADE20k語義分割數據集上訓練的模型(小尺寸版本,採用Swin骨幹網絡)。它在論文Per-Pixel Classification is Not All You Need for Semantic Segmentation中被提出,並首次在此倉庫中發佈。該模型使用同一範式處理實例分割、語義分割和全景分割任務,即通過預測一組掩碼和相應的標籤,將這3種任務都視為實例分割任務。
🚀 快速開始
你可以使用此特定的檢查點進行語義分割。查看模型中心以查找針對你感興趣的任務進行微調的其他版本。
✨ 主要特性
- 統一範式:MaskFormer使用同一範式處理實例分割、語義分割和全景分割任務,將這3種任務都視為實例分割任務。
- 模型架構:模型架構如圖所示:

📦 安裝指南
文檔未提及安裝步驟,故跳過此章節。
💻 使用示例
基礎用法
from transformers import MaskFormerFeatureExtractor, MaskFormerForInstanceSegmentation
from PIL import Image
import requests
url = "https://huggingface.co/datasets/hf-internal-testing/fixtures_ade20k/resolve/main/ADE_val_00000001.jpg"
image = Image.open(requests.get(url, stream=True).raw)
feature_extractor = MaskFormerFeatureExtractor.from_pretrained("facebook/maskformer-swin-small-ade")
inputs = feature_extractor(images=image, return_tensors="pt")
model = MaskFormerForInstanceSegmentation.from_pretrained("facebook/maskformer-swin-small-ade")
outputs = model(**inputs)
class_queries_logits = outputs.class_queries_logits
masks_queries_logits = outputs.masks_queries_logits
predicted_semantic_map = feature_extractor.post_process_semantic_segmentation(outputs, target_sizes=[image.size[::-1]])[0]
高級用法
更多代碼示例,請參考文檔。
📚 詳細文檔
- 模型使用方法:可參考上述代碼示例。
- 更多代碼示例:請參考文檔。
🔧 技術細節
文檔未提及技術實現細節,故跳過此章節。
📄 許可證
該模型的許可證為其他(other)。
標籤與數據集
屬性 |
詳情 |
模型類型 |
用於圖像分割的MaskFormer模型 |
訓練數據 |
scene_parse_150 |
示例
免責聲明
發佈MaskFormer的團隊未為此模型編寫模型卡片,此模型卡片由Hugging Face團隊編寫。