Mobilevitv2 1.0 Voc Deeplabv3

🚀 MobileViTv2 + DeepLabv3 (shehan97/mobilevitv2-1.0-voc-deeplabv3)

MobileViTv2は、解像度512x512のPASCAL VOCで事前学習されたモデルです。このモデルは画像のセマンティックセグメンテーションに利用でき、MobileViTのバックボーンにDeepLabV3のヘッドを追加した構成になっています。

🚀 クイックスタート

MobileViTv2は、MobileViTのマルチヘッド自己注意を分離自己注意に置き換えることで構築されています。このリポジトリのモデルは、セマンティックセグメンテーションのために、MobileViTのバックボーンにDeepLabV3のヘッドを追加しています。

✨ 主な機能

• MobileViTv2は、分離自己注意を用いることで、軽量かつ高性能な画像認識を実現します。
• DeepLabV3のヘッドを追加することで、セマンティックセグメンテーションタスクに適用可能です。

💻 使用例

基本的な使用法

from transformers import MobileViTv2FeatureExtractor, MobileViTv2ForSemanticSegmentation
from PIL import Image
import requests

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

feature_extractor = MobileViTv2FeatureExtractor.from_pretrained("shehan97/mobilevitv2-1.0-voc-deeplabv3")
model = MobileViTv2ForSemanticSegmentation.from_pretrained("shehan97/mobilevitv2-1.0-voc-deeplabv3")

inputs = feature_extractor(images=image, return_tensors="pt")

outputs = model(**inputs)
logits = outputs.logits

predicted_mask = logits.argmax(1).squeeze(0)

現在、特徴抽出器とモデルの両方がPyTorchをサポートしています。

📚 ドキュメント

想定される用途と制限

生のモデルはセマンティックセグメンテーションに使用できます。関心のあるタスクで微調整されたバージョンを探すには、モデルハブを参照してください。

学習データ

MobileViT + DeepLabV3モデルは、100万枚の画像と1,000クラスからなるImageNet-1kデータセットで事前学習され、その後PASCAL VOC2012データセットで微調整されました。

BibTeXエントリと引用情報

@inproceedings{vision-transformer,
title = {Separable Self-attention for Mobile Vision Transformers},
author = {Sachin Mehta and Mohammad Rastegari},
year = {2022},
URL = {https://arxiv.org/abs/2206.02680}
}

📄 ライセンス

このモデルはApple sample code licenseのライセンスで提供されています。なお、MobileViTをリリースしたチームはこのモデルのモデルカードを作成していないため、このモデルカードはHugging Faceチームによって作成されています。