Mask2former Deployment

🚀 Mask2Formerによるセマンティックセグメンテーション

このリポジトリには、セマンティックセグメンテーションタスク用にファインチューニングされたMask2Formerモデルが含まれています。このモデルは、入力画像のセグメンテーションマスクを予測するために使用でき、facebook/mask2former-swin-large-cityscapes-semanticの事前学習モデルに基づいています。

✨ 主な機能

Mask2Formerは、以下を含むマスク予測タスクの汎用フレームワークです。

• セマンティックセグメンテーション
• インスタンスセグメンテーション
• パノプティックセグメンテーション

このバージョンは、セマンティックセグメンテーションタスク用にファインチューニングされ、最適化されています。道路シーン理解、自動運転、その他のセグメンテーション関連のアプリケーションなどのタスクに使用できます。

📦 インストール

まず、必要なライブラリがインストールされていることを確認してください。

pip install transformers torch torchvision pillow matplotlib

💻 使用例

基本的な使用法

このモデルは、Hugging Faceのtransformersライブラリを使用して利用できます。以下は、モデルをロードし、画像を処理し、出力を可視化する例です。

from transformers import AutoImageProcessor, Mask2FormerForUniversalSegmentation
from PIL import Image
import torch
import matplotlib.pyplot as plt

# プロセッサとモデルをロード
model_name = "saninmohammedn/mask2former-deployment"
processor = AutoImageProcessor.from_pretrained(model_name)
model = Mask2FormerForUniversalSegmentation.from_pretrained(model_name)

# 入力画像をロード
image_path = "your_image.jpg"  # あなたの画像パスに置き換えてください
image = Image.open(image_path).convert("RGB")

# 画像をモデル用に準備
inputs = processor(images=image, return_tensors="pt")

# 推論を実行
with torch.no_grad():
    outputs = model(**inputs)

# 予測されたセグメンテーションマップを後処理
predicted_map = processor.post_process_semantic_segmentation(
    outputs, target_sizes=[image.size[::-1]]
)[0].cpu().numpy()

# 入力と予測されたセグメンテーションマップを可視化
plt.figure(figsize=(10, 5))

# 元の画像を表示
plt.subplot(1, 2, 1)
plt.imshow(image)
plt.title("Original Image")
plt.axis("off")

# 予測されたセグメンテーションマップを表示
plt.subplot(1, 2, 2)
plt.imshow(predicted_map, cmap="jet")
plt.title("Predicted Segmentation Map")
plt.axis("off")

plt.tight_layout()
plt.show()

📄 ライセンス

Other