Deeplabv3 Mobilenet V2 1.0 513

🚀 MobileNetV2 with DeepLabV3+

このモデルは、解像度513x513のPASCAL VOCで事前学習されたMobileNet V2モデルです。Mark Sandler、Andrew Howard、Menglong Zhu、Andrey Zhmoginov、Liang-Chieh Chenによる MobileNetV2: Inverted Residuals and Linear Bottlenecks で導入され、このリポジトリ で最初に公開されました。

なお、MobileNet V2を公開したチームはこのモデルのモデルカードを作成していないため、このモデルカードはHugging Faceチームによって作成されています。

✨ 主な機能

モデルの説明

元のREADME より引用：

MobileNetsは、さまざまなユースケースのリソース制約を満たすためにパラメータ化された、小型で低レイテンシ、低消費電力のモデルです。Inceptionなどの他の人気の大規模モデルと同様に、分類、検出、埋め込み、セグメンテーションのために構築することができます。MobileNetsはモバイルデバイスで効率的に実行できます [...] MobileNetsは、文献上の人気モデルと有利に比較しながら、レイテンシ、サイズ、精度のトレードオフを行います。

このリポジトリのモデルは、セマンティックセグメンテーションのためにMobileNetV2バックボーンに DeepLabV3+ ヘッドを追加しています。

想定される用途と制限

生モデルをセマンティックセグメンテーションに使用できます。あなたが興味のあるタスクでファインチューニングされたバージョンを探すには、モデルハブ を参照してください。

📦 インストール

このセクションでは、必要なライブラリのインストール方法を説明します。

pip install transformers requests pillow torch

💻 使用例

基本的な使用法

from transformers import MobileNetV2FeatureExtractor, MobileNetV2ForSemanticSegmentation
from PIL import Image
import requests

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

feature_extractor = MobileNetV2FeatureExtractor.from_pretrained("Matthijs/deeplabv3_mobilenet_v2_1.0_513")
model = MobileNetV2ForSemanticSegmentation.from_pretrained("Matthijs/deeplabv3_mobilenet_v2_1.0_513")

inputs = feature_extractor(images=image, return_tensors="pt")

outputs = model(**inputs)
logits = outputs.logits
predicted_mask = logits.argmax(1).squeeze(0)

現在、特徴抽出器とモデルの両方がPyTorchをサポートしています。

📚 ドキュメント

BibTeXエントリと引用情報

@inproceedings{deeplabv3plus2018,
  title={Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation},
  author={Liang-Chieh Chen and Yukun Zhu and George Papandreou and Florian Schroff and Hartwig Adam},
  booktitle={ECCV},
  year={2018}
}

📄 ライセンス

Other