Dpt Hybrid Midas

🚀 DPT - Hybrid (MiDaS 3.0)

このモデルは、140万枚の画像で訓練された単眼深度推定用のDense Prediction Transformer (DPT) モデルです。画像の単眼深度推定に利用できます。

🚀 クイックスタート

このモデルは、単眼深度推定に使用できます。以下に、画像のゼロショット深度推定にこのモデルを使用する方法を示します。

from PIL import Image
import numpy as np
import requests
import torch

from transformers import DPTImageProcessor, DPTForDepthEstimation

image_processor = DPTImageProcessor.from_pretrained("Intel/dpt-hybrid-midas")
model = DPTForDepthEstimation.from_pretrained("Intel/dpt-hybrid-midas", low_cpu_mem_usage=True)

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

# prepare image for the model
inputs = image_processor(images=image, return_tensors="pt")

with torch.no_grad():
    outputs = model(**inputs)
    predicted_depth = outputs.predicted_depth

# interpolate to original size
prediction = torch.nn.functional.interpolate(
    predicted_depth.unsqueeze(1),
    size=image.size[::-1],
    mode="bicubic",
    align_corners=False,
)

# visualize the prediction
output = prediction.squeeze().cpu().numpy()
formatted = (output * 255 / np.max(output)).astype("uint8")
depth = Image.fromarray(formatted)
depth.show()

より多くのコード例については、ドキュメントを参照してください。

✨ 主な機能

• Dense Prediction Transformer (DPT) モデルを使用して、140万枚の画像で訓練された単眼深度推定モデルです。
• Vision Transformer (ViT) をバックボーンとして使用し、単眼深度推定用のネックとヘッドを追加しています。
• このリポジトリには、論文で述べられている「ハイブリッド」バージョンのモデルが含まれています。DPT - Hybrid は、[ViT - hybrid](https://huggingface.co/google/vit - hybrid - base - bit - 384) をバックボーンとして使用し、バックボーンからいくつかの活性化を取得します。

📚 ドキュメント

モデルの詳細

想定される使用方法

要因

メトリクス

訓練と評価データ

🔧 技術詳細

定量的分析

表1. 単眼深度推定における最先端技術との比較。我々は、[30] で定義されたプロトコルに従って、ゼロショットクロスデータセット転移を評価します。相対的なパフォーマンスは、元の MiDaS モデル [30] に対して計算されます。すべてのメトリクスについて、低い値が良いです。(Ranftl et al., 2021)

倫理的な考慮事項

注意事項と推奨事項

BibTeXエントリと引用情報

@article{DBLP:journals/corr/abs-2103-13413,
  author    = {Ren{\'{e}} Ranftl and
               Alexey Bochkovskiy and
               Vladlen Koltun},
  title     = {Vision Transformers for Dense Prediction},
  journal   = {CoRR},
  volume    = {abs/2103.13413},
  year      = {2021},
  url       = {https://arxiv.org/abs/2103.13413},
  eprinttype = {arXiv},
  eprint    = {2103.13413},
  timestamp = {Wed, 07 Apr 2021 15:31:46 +0200},
  biburl    = {https://dblp.org/rec/journals/corr/abs-2103-13413.bib},
  bibsource = {dblp computer science bibliography, https://dblp.org}
}

📄 ライセンス

このモデルは、Apache 2.0 ライセンスの下で提供されています。