Deeplabv3 Mobilenet V2 1.0 513

🚀 MobileNetV2 with DeepLabV3+

このモデルは、解像度513x513のPASCAL VOCで事前学習されたMobileNet V2モデルです。Mark Sandler、Andrew Howard、Menglong Zhu、Andrey Zhmoginov、Liang-Chieh Chenによる論文 MobileNetV2: Inverted Residuals and Linear Bottlenecks で紹介され、このリポジトリ で最初に公開されました。

なお、MobileNet V2を公開したチームはこのモデルのモデルカードを作成していないため、このモデルカードはHugging Faceチームによって作成されています。

📚 ドキュメント

モデルの説明

元のREADME からの引用：

MobileNetは、さまざまなユースケースのリソース制約を満たすようにパラメータ化された小型で低遅延、低消費電力のモデルです。Inceptionなどの他の一般的な大規模モデルと同様に、分類、検出、埋め込み、セグメンテーションなどのタスクに利用できます。MobileNetはモバイルデバイスでも効率的に実行できます [...] MobileNetは、文献にある人気のあるモデルと比較して、遅延、サイズ、精度のトレードオフを行います。

このリポジトリのモデルは、セマンティックセグメンテーションのために、MobileNetV2バックボーンに DeepLabV3+ ヘッドを追加しています。

想定される用途と制限

この生モデルはセマンティックセグメンテーションに使用できます。あなたが興味のあるタスクで微調整されたバージョンを探すには、モデルハブ を参照してください。

💻 使用例

基本的な使用法

from transformers import AutoImageProcessor, AutoModelForSemanticSegmentation
from PIL import Image
import requests

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

preprocessor = AutoImageProcessor.from_pretrained("google/deeplabv3_mobilenet_v2_1.0_513")
model = AutoModelForSemanticSegmentation.from_pretrained("google/deeplabv3_mobilenet_v2_1.0_513")

inputs = preprocessor(images=image, return_tensors="pt")

outputs = model(**inputs)
predicted_mask = preprocessor.post_process_semantic_segmentation(outputs)

現在、特徴抽出器とモデルの両方がPyTorchをサポートしています。

BibTeXエントリと引用情報

@inproceedings{deeplabv3plus2018,
  title={Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation},
  author={Liang-Chieh Chen and Yukun Zhu and George Papandreou and Florian Schroff and Hartwig Adam},
  booktitle={ECCV},
  year={2018}
}

情報テーブル

ライセンス

ライセンスはOtherです。