Zoedepth Nyu Kitti

🚀 ZoeDepth（在NYU和KITTI数据集上微调）

ZoeDepth是一个在NYU和KITTI数据集上进行微调的模型。它由Shariq等人在论文ZoeDepth: Zero-shot Transfer by Combining Relative and Metric Depth中提出，并首次在此仓库发布。ZoeDepth扩展了DPT框架，用于度量（也称为绝对）深度估计，取得了最先进的成果。

⚠️ 重要提示

发布ZoeDepth的团队未为此模型编写模型卡片，此模型卡片由Hugging Face团队编写。

✨ 主要特性

• 基于DPT框架，将其从相对深度估计扩展到度量（绝对）深度估计，能够以实际度量值来估计深度。
• 在NYU和KITTI数据集上进行微调，取得了最先进的深度估计结果。

📚 详细文档

模型描述

ZoeDepth对用于相对深度估计的DPT模型进行了调整，以用于所谓的度量（也称为绝对）深度估计。这意味着该模型能够以实际的度量值来估计深度。

ZoeDepth架构。取自 原始论文。

预期用途与限制

可以将原始模型用于零样本单目深度估计等任务。可查看模型中心，查找其他感兴趣任务的版本。

如何使用

最简单的方法是利用pipeline API，它为用户抽象掉了复杂性：

from transformers import pipeline
from PIL import Image
import requests

# 加载管道
depth_estimator = pipeline(task="depth-estimation", model="Intel/zoedepth-nyu-kitti")

# 加载图像
url = 'http://images.cocodataset.org/val2017/000000039769.jpg'
image = Image.open(requests.get(url, stream=True).raw)

# 推理
outputs = depth_estimator(image)
depth = outputs.depth

更多代码示例，请参考文档。

BibTeX引用信息

@misc{bhat2023zoedepth,
      title={ZoeDepth: Zero-shot Transfer by Combining Relative and Metric Depth}, 
      author={Shariq Farooq Bhat and Reiner Birkl and Diana Wofk and Peter Wonka and Matthias Müller},
      year={2023},
      eprint={2302.12288},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

📄 许可证

本模型采用MIT许可证。