Zoedepth Nyu Kitti

🚀 ZoeDepth（在NYU和KITTI數據集上微調）

ZoeDepth是一個在NYU和KITTI數據集上進行微調的模型。它由Shariq等人在論文ZoeDepth: Zero-shot Transfer by Combining Relative and Metric Depth中提出，並首次在此倉庫發佈。ZoeDepth擴展了DPT框架，用於度量（也稱為絕對）深度估計，取得了最先進的成果。

⚠️ 重要提示

發佈ZoeDepth的團隊未為此模型編寫模型卡片，此模型卡片由Hugging Face團隊編寫。

✨ 主要特性

• 基於DPT框架，將其從相對深度估計擴展到度量（絕對）深度估計，能夠以實際度量值來估計深度。
• 在NYU和KITTI數據集上進行微調，取得了最先進的深度估計結果。

📚 詳細文檔

模型描述

ZoeDepth對用於相對深度估計的DPT模型進行了調整，以用於所謂的度量（也稱為絕對）深度估計。這意味著該模型能夠以實際的度量值來估計深度。

ZoeDepth架構。取自 原始論文。

預期用途與限制

可以將原始模型用於零樣本單目深度估計等任務。可查看模型中心，查找其他感興趣任務的版本。

如何使用

最簡單的方法是利用pipeline API，它為用戶抽象掉了複雜性：

from transformers import pipeline
from PIL import Image
import requests

# 加載管道
depth_estimator = pipeline(task="depth-estimation", model="Intel/zoedepth-nyu-kitti")

# 加載圖像
url = 'http://images.cocodataset.org/val2017/000000039769.jpg'
image = Image.open(requests.get(url, stream=True).raw)

# 推理
outputs = depth_estimator(image)
depth = outputs.depth

更多代碼示例，請參考文檔。

BibTeX引用信息

@misc{bhat2023zoedepth,
      title={ZoeDepth: Zero-shot Transfer by Combining Relative and Metric Depth}, 
      author={Shariq Farooq Bhat and Reiner Birkl and Diana Wofk and Peter Wonka and Matthias Müller},
      year={2023},
      eprint={2302.12288},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

📄 許可證

本模型採用MIT許可證。