Dpt Large

🚀 DPT-Large（也稱為MiDaS 3.0）

DPT-Large是一個用於單目深度估計的模型，它基於140萬張圖像進行訓練。該模型使用Vision Transformer（ViT）作為骨幹網絡，並添加了頸部和頭部結構，可用於零樣本單目深度估計任務，為相關領域的研究和應用提供了有力支持。

🚀 快速開始

你可以使用以下代碼示例快速開始使用該模型進行單目深度估計。

基礎用法

from transformers import pipeline

pipe = pipeline(task="depth-estimation", model="Intel/dpt-large")
result = pipe(image)
result["depth"]

高級用法

如果你想自己實現整個邏輯，以下是在圖像上進行零樣本深度估計的方法：

from transformers import DPTImageProcessor, DPTForDepthEstimation
import torch
import numpy as np
from PIL import Image
import requests

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

processor = DPTImageProcessor.from_pretrained("Intel/dpt-large")
model = DPTForDepthEstimation.from_pretrained("Intel/dpt-large")

# prepare image for the model
inputs = processor(images=image, return_tensors="pt")

with torch.no_grad():
    outputs = model(**inputs)
    predicted_depth = outputs.predicted_depth

# interpolate to original size
prediction = torch.nn.functional.interpolate(
    predicted_depth.unsqueeze(1),
    size=image.size[::-1],
    mode="bicubic",
    align_corners=False,
)

# visualize the prediction
output = prediction.squeeze().cpu().numpy()
formatted = (output * 255 / np.max(output)).astype("uint8")
depth = Image.fromarray(formatted)

更多代碼示例，請參考文檔。

✨ 主要特性

• 基於大量數據訓練：在140萬張圖像上進行訓練，為單目深度估計提供了強大的能力。
• 使用ViT骨幹網絡：採用Vision Transformer（ViT）作為骨幹網絡，結合頸部和頭部結構，提升了模型性能。
• 支持零樣本單目深度估計：可以直接使用原始模型進行零樣本單目深度估計。

📦 安裝指南

文檔未提及具體安裝步驟，可參考模型中心獲取相關信息。

📚 詳細文檔

模型詳情

預期用途

影響因素

評估指標

訓練和評估數據

定量分析

表1. 單目深度估計與現有技術的比較。我們根據[30]中定義的協議評估零樣本跨數據集遷移。相對性能是相對於原始MiDaS模型[30]計算的。所有指標越低越好。(Ranftl等人, 2021)

倫理考量

注意事項和建議

🔧 技術細節

Dense Prediction Transformer (DPT) 模型使用Vision Transformer (ViT) 作為骨幹網絡，並在其基礎上添加了頸部和頭部結構，用於單目深度估計。該模型在140萬張圖像上進行訓練，使用ImageNet預訓練權重進行初始化。在預處理階段，將圖像調整大小使較長邊為384像素，並在大小為384的隨機方形裁剪上進行訓練，同時進行隨機水平翻轉以進行數據增強。更多技術細節可參考用於密集預測的視覺Transformer。

📄 許可證

本模型使用Apache 2.0許可證。

BibTeX引用和引用信息

@article{DBLP:journals/corr/abs-2103-13413,
  author    = {Ren{\'{e}} Ranftl and
               Alexey Bochkovskiy and
               Vladlen Koltun},
  title     = {Vision Transformers for Dense Prediction},
  journal   = {CoRR},
  volume    = {abs/2103.13413},
  year      = {2021},
  url       = {https://arxiv.org/abs/2103.13413},
  eprinttype = {arXiv},
  eprint    = {2103.13413},
  timestamp = {Wed, 07 Apr 2021 15:31:46 +0200},
  biburl    = {https://dblp.org/rec/journals/corr/abs-2103-13413.bib},
  bibsource = {dblp computer science bibliography, https://dblp.org}
}