Mobilevitv2 1.0 Voc Deeplabv3

🚀 MobileViTv2 + DeepLabv3 (shehan97/mobilevitv2-1.0-voc-deeplabv3)

MobileViTv2モデルは、解像度512x512のPASCAL VOCで事前学習されています。このモデルは画像セグメンテーションに役立ち、特定の画像内の物体をセグメント化するのに利用できます。

🚀 クイックスタート

MobileViTv2は、MobileViTのマルチヘッドセルフアテンションを分離可能なセルフアテンションに置き換えることで構築されています。このリポジトリのモデルは、MobileViTのバックボーンにDeepLabV3ヘッドを追加して、セマンティックセグメンテーションを行います。

✨ 主な機能

• MobileViTv2モデルは、PASCAL VOCで事前学習されているため、画像セグメンテーションに適しています。
• 分離可能なセルフアテンションを使用することで、モバイルデバイスでも効率的に動作します。

💻 使用例

基本的な使用法

from transformers import MobileViTv2FeatureExtractor, MobileViTv2ForSemanticSegmentation
from PIL import Image
import requests

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

feature_extractor = MobileViTv2FeatureExtractor.from_pretrained("shehan97/mobilevitv2-1.0-voc-deeplabv3")
model = MobileViTv2ForSemanticSegmentation.from_pretrained("shehan97/mobilevitv2-1.0-voc-deeplabv3")

inputs = feature_extractor(images=image, return_tensors="pt")

outputs = model(**inputs)
logits = outputs.logits

predicted_mask = logits.argmax(1).squeeze(0)

現在、特徴抽出器とモデルの両方がPyTorchをサポートしています。

📚 ドキュメント

想定される用途と制限

生のモデルをセマンティックセグメンテーションに使用することができます。関心のあるタスクで微調整されたバージョンを探すには、モデルハブを参照してください。

📦 インストール

このREADMEには具体的なインストール手順が記載されていないため、このセクションをスキップします。

🔧 技術詳細

このREADMEには具体的な技術詳細が50文字以上記載されていないため、このセクションをスキップします。

📄 ライセンス

使用されているライセンスはApple sample code licenseです。

データ情報

BibTeX引用

@inproceedings{vision-transformer,
title = {Separable Self-attention for Mobile Vision Transformers},
author = {Sachin Mehta and Mohammad Rastegari},
year = {2022},
URL = {https://arxiv.org/abs/2206.02680}
}