Deeplabv3 Mobilevit X Small

🚀 MobileViT + DeepLabV3 (超小型モデル)

MobileViTモデルは、解像度512x512のPASCAL VOCで事前学習されています。このモデルは、Sachin MehtaとMohammad RastegariによるMobileViT: Light-weight, General-purpose, and Mobile-friendly Vision Transformerで紹介され、このリポジトリで最初に公開されました。使用されているライセンスはAppleサンプルコードライセンスです。

免責事項: MobileViTを公開したチームはこのモデルのモデルカードを作成していないため、このモデルカードはHugging Faceチームによって作成されました。

🚀 クイックスタート

このモデルは、セマンティックセグメンテーションに使用できます。興味のあるタスクでファインチューニングされたバージョンを探すには、モデルハブを参照してください。

使い方

このモデルの使用方法は以下の通りです。

from transformers import MobileViTFeatureExtractor, MobileViTForSemanticSegmentation
from PIL import Image
import requests

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

feature_extractor = MobileViTFeatureExtractor.from_pretrained("apple/deeplabv3-mobilevit-x-small")
model = MobileViTForSemanticSegmentation.from_pretrained("apple/deeplabv3-mobilevit-x-small")

inputs = feature_extractor(images=image, return_tensors="pt")

outputs = model(**inputs)
logits = outputs.logits
predicted_mask = logits.argmax(1).squeeze(0)

現在、特徴抽出器とモデルの両方がPyTorchをサポートしています。

✨ 主な機能

MobileViTは、軽量で低レイテンシーの畳み込みニューラルネットワークで、MobileNetV2スタイルのレイヤーと、畳み込みにおける局所処理をトランスフォーマーを使用したグローバル処理に置き換える新しいブロックを組み合わせています。ViT (Vision Transformer) と同様に、画像データはトランスフォーマーレイヤーで処理される前に平坦化されたパッチに変換されます。その後、パッチは特徴マップに戻されます。これにより、MobileViTブロックをCNN内の任意の場所に配置することができます。MobileViTは位置埋め込みを必要としません。

このリポジトリのモデルは、セマンティックセグメンテーションのためにMobileViTバックボーンにDeepLabV3ヘッドを追加しています。

📚 ドキュメント

モデルの説明

MobileViTは、軽量で低レイテンシーの畳み込みニューラルネットワークで、MobileNetV2スタイルのレイヤーと、畳み込みにおける局所処理をトランスフォーマーを使用したグローバル処理に置き換える新しいブロックを組み合わせています。ViT (Vision Transformer) と同様に、画像データはトランスフォーマーレイヤーで処理される前に平坦化されたパッチに変換されます。その後、パッチは特徴マップに戻されます。これにより、MobileViTブロックをCNN内の任意の場所に配置することができます。MobileViTは位置埋め込みを必要としません。

このリポジトリのモデルは、セマンティックセグメンテーションのためにMobileViTバックボーンにDeepLabV3ヘッドを追加しています。

想定される用途と制限

このモデルはセマンティックセグメンテーションに使用できます。興味のあるタスクでファインチューニングされたバージョンを探すには、モデルハブを参照してください。

訓練データ

MobileViT + DeepLabV3モデルは、100万枚の画像と1000クラスからなるImageNet-1kで事前学習され、その後PASCAL VOC2012データセットでファインチューニングされました。

訓練手順

前処理

推論時には、画像は512x512に中央クロップされます。ピクセルは[0, 1]の範囲に正規化されます。画像はRGBではなくBGRのピクセル順序であることが想定されています。

事前学習

MobileViTネットワークは、8台のNVIDIA GPUでImageNet-1k上で300エポック、有効バッチサイズ1024で最初から学習され、3kステップの学習率ウォームアップの後、コサインアニーリングが行われます。また、ラベルスムージング交差エントロピー損失とL2重み減衰も使用されています。訓練解像度は、マルチスケールサンプリングを使用して160x160から320x320まで変化します。

DeepLabV3モデルを得るために、MobileViTは4台のNVIDIA A100 GPUを使用してPASCAL VOCデータセットでファインチューニングされました。

評価結果

BibTeXエントリと引用情報

@inproceedings{vision-transformer,
title = {MobileViT: Light-weight, General-purpose, and Mobile-friendly Vision Transformer},
author = {Sachin Mehta and Mohammad Rastegari},
year = {2022},
URL = {https://arxiv.org/abs/2110.02178}
}

📄 ライセンス

このモデルはAppleサンプルコードライセンスを使用しています。