Dpt Hybrid Midas

🚀 DPT-Hybrid（也稱為MiDaS 3.0）

DPT-Hybrid是一個用於單目深度估計的模型，它在140萬張圖像上進行訓練。該模型使用視覺變換器（ViT）作為骨幹網絡，並添加了頸部和頭部結構，以實現單目深度估計的功能。

🚀 快速開始

零樣本深度估計示例

以下是如何使用此模型對圖像進行零樣本深度估計的示例代碼：

from PIL import Image
import numpy as np
import requests
import torch

from transformers import DPTImageProcessor, DPTForDepthEstimation

image_processor = DPTImageProcessor.from_pretrained("Intel/dpt-hybrid-midas")
model = DPTForDepthEstimation.from_pretrained("Intel/dpt-hybrid-midas", low_cpu_mem_usage=True)

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

# prepare image for the model
inputs = image_processor(images=image, return_tensors="pt")

with torch.no_grad():
    outputs = model(**inputs)
    predicted_depth = outputs.predicted_depth

# interpolate to original size
prediction = torch.nn.functional.interpolate(
    predicted_depth.unsqueeze(1),
    size=image.size[::-1],
    mode="bicubic",
    align_corners=False,
)

# visualize the prediction
output = prediction.squeeze().cpu().numpy()
formatted = (output * 255 / np.max(output)).astype("uint8")
depth = Image.fromarray(formatted)
depth.show()

更多代碼示例，請參考 文檔。

✨ 主要特性

• 強大的訓練基礎：在140萬張圖像上進行訓練，為單目深度估計提供了堅實的數據支持。
• 先進的架構：採用視覺變換器（ViT）作為骨幹網絡，並添加了頸部和頭部結構，以實現高效的單目深度估計。
• 零樣本遷移能力：能夠在不同數據集上進行零樣本遷移，展現出良好的泛化能力。

📚 詳細文檔

模型詳情

預期用途

影響因素

評估指標

訓練和評估數據

定量分析

表1. 單目深度估計的最新技術比較。我們根據 [30] 中定義的協議評估零樣本跨數據集遷移。相對性能是相對於原始MiDaS模型 [30] 計算的。所有指標的值越低越好。(Ranftl等人, 2021)

倫理考慮

注意事項和建議

🔧 技術細節

Dense Prediction Transformer (DPT) 模型在140萬張圖像上進行訓練，用於單目深度估計。它在論文 Vision Transformers for Dense Prediction 中由Ranftl等人 (2021) 提出，並首次在 此倉庫 中發佈。DPT使用視覺變換器（ViT）作為骨幹網絡，並在頂部添加了頸部和頭部結構，用於單目深度估計。

本倉庫託管的是論文中所述的模型 “混合” 版本。DPT-Hybrid與DPT的不同之處在於，它使用 ViT-hybrid 作為骨幹網絡，並從骨幹網絡中獲取一些激活值。

📄 許可證

本模型採用Apache 2.0許可證。

BibTeX引用

@article{DBLP:journals/corr/abs-2103-13413,
  author    = {Ren{\'{e}} Ranftl and
               Alexey Bochkovskiy and
               Vladlen Koltun},
  title     = {Vision Transformers for Dense Prediction},
  journal   = {CoRR},
  volume    = {abs/2103.13413},
  year      = {2021},
  url       = {https://arxiv.org/abs/2103.13413},
  eprinttype = {arXiv},
  eprint    = {2103.13413},
  timestamp = {Wed, 07 Apr 2021 15:31:46 +0200},
  biburl    = {https://dblp.org/rec/journals/corr/abs-2103-13413.bib},
  bibsource = {dblp computer science bibliography, https://dblp.org}
}