Segformer Sidewalk

🚀 SegFormer (b0サイズ) モデル：sidewalk-semanticデータセットでファインチューニング済み

このSegFormerモデルは、解像度512x512のsegments/sidewalk-semanticデータセットでファインチューニングされています。このモデルは、Xieらによる論文 SegFormer: Simple and Efficient Design for Semantic Segmentation with Transformers で紹介され、最初は このリポジトリ で公開されました。

🚀 クイックスタート

このモデルは、セマンティックセグメンテーションタスクに使用できます。詳細な使い方やコード例については、以下のセクションを参照してください。

✨ 主な機能

SegFormerは、階層的なTransformerエンコーダと軽量の全MLPデコードヘッドで構成されており、ADE20KやCityscapesなどのセマンティックセグメンテーションベンチマークで優れた結果を達成します。階層的なTransformerは最初にImageNet-1kで事前学習され、その後デコードヘッドが追加され、下流のデータセットで一括してファインチューニングされます。

📚 ドキュメント

想定される用途と制限

このモデルは、セマンティックセグメンテーションに使用できます。関心のあるタスクでファインチューニングされたバージョンを探すには、モデルハブ を参照してください。

使い方

以下は、このモデルを使用してCOCO 2017データセットの画像を1,000のImageNetクラスのいずれかに分類する方法です。

基本的な使用法

from transformers import SegformerFeatureExtractor, SegformerForSemanticSegmentation
from PIL import Image
import requests

feature_extractor = SegformerFeatureExtractor(reduce_labels=True)
model = SegformerForSemanticSegmentation.from_pretrained("ChainYo/segformer-sidewalk")

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

inputs = feature_extractor(images=image, return_tensors="pt")
outputs = model(**inputs)
logits = outputs.logits  # shape (batch_size, num_labels, height/4, width/4)

より多くのコード例については、ドキュメント を参照してください。

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。