Dpt Large

🚀 DPT-Large（也称为MiDaS 3.0）

DPT-Large是一个用于单目深度估计的模型，它基于140万张图像进行训练。该模型使用Vision Transformer（ViT）作为骨干网络，并添加了颈部和头部结构，可用于零样本单目深度估计任务，为相关领域的研究和应用提供了有力支持。

🚀 快速开始

你可以使用以下代码示例快速开始使用该模型进行单目深度估计。

基础用法

from transformers import pipeline

pipe = pipeline(task="depth-estimation", model="Intel/dpt-large")
result = pipe(image)
result["depth"]

高级用法

如果你想自己实现整个逻辑，以下是在图像上进行零样本深度估计的方法：

from transformers import DPTImageProcessor, DPTForDepthEstimation
import torch
import numpy as np
from PIL import Image
import requests

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

processor = DPTImageProcessor.from_pretrained("Intel/dpt-large")
model = DPTForDepthEstimation.from_pretrained("Intel/dpt-large")

# prepare image for the model
inputs = processor(images=image, return_tensors="pt")

with torch.no_grad():
    outputs = model(**inputs)
    predicted_depth = outputs.predicted_depth

# interpolate to original size
prediction = torch.nn.functional.interpolate(
    predicted_depth.unsqueeze(1),
    size=image.size[::-1],
    mode="bicubic",
    align_corners=False,
)

# visualize the prediction
output = prediction.squeeze().cpu().numpy()
formatted = (output * 255 / np.max(output)).astype("uint8")
depth = Image.fromarray(formatted)

更多代码示例，请参考文档。

✨ 主要特性

• 基于大量数据训练：在140万张图像上进行训练，为单目深度估计提供了强大的能力。
• 使用ViT骨干网络：采用Vision Transformer（ViT）作为骨干网络，结合颈部和头部结构，提升了模型性能。
• 支持零样本单目深度估计：可以直接使用原始模型进行零样本单目深度估计。

📦 安装指南

文档未提及具体安装步骤，可参考模型中心获取相关信息。

📚 详细文档

模型详情

预期用途

影响因素

评估指标

训练和评估数据

定量分析

表1. 单目深度估计与现有技术的比较。我们根据[30]中定义的协议评估零样本跨数据集迁移。相对性能是相对于原始MiDaS模型[30]计算的。所有指标越低越好。(Ranftl等人, 2021)

伦理考量

注意事项和建议

🔧 技术细节

Dense Prediction Transformer (DPT) 模型使用Vision Transformer (ViT) 作为骨干网络，并在其基础上添加了颈部和头部结构，用于单目深度估计。该模型在140万张图像上进行训练，使用ImageNet预训练权重进行初始化。在预处理阶段，将图像调整大小使较长边为384像素，并在大小为384的随机方形裁剪上进行训练，同时进行随机水平翻转以进行数据增强。更多技术细节可参考用于密集预测的视觉Transformer。

📄 许可证

本模型使用Apache 2.0许可证。

BibTeX引用和引用信息

@article{DBLP:journals/corr/abs-2103-13413,
  author    = {Ren{\'{e}} Ranftl and
               Alexey Bochkovskiy and
               Vladlen Koltun},
  title     = {Vision Transformers for Dense Prediction},
  journal   = {CoRR},
  volume    = {abs/2103.13413},
  year      = {2021},
  url       = {https://arxiv.org/abs/2103.13413},
  eprinttype = {arXiv},
  eprint    = {2103.13413},
  timestamp = {Wed, 07 Apr 2021 15:31:46 +0200},
  biburl    = {https://dblp.org/rec/journals/corr/abs-2103-13413.bib},
  bibsource = {dblp computer science bibliography, https://dblp.org}
}