Zoedepth Nyu Kitti

🚀 ZoeDepth (NYUとKITTIでファインチューニング済み)

ZoeDepthモデルは、NYUとKITTIデータセットでファインチューニングされています。このモデルは、Shariqらによる論文ZoeDepth: Zero-shot Transfer by Combining Relative and Metric Depthで紹介され、このリポジトリで最初に公開されました。

ZoeDepthは、メトリック（絶対とも呼ばれる）深度推定のためにDPTフレームワークを拡張し、最先端の結果を得ています。

免責事項：ZoeDepthを公開したチームはこのモデルのモデルカードを作成していないため、このモデルカードはHugging Faceチームによって作成されました。

🚀 クイックスタート

ZoeDepthモデルは、NYUとKITTIデータセットでファインチューニングされ、深度推定タスクに使用できます。以下に使用方法の概要を示します。

✨ 主な機能

• 相対深度推定モデルであるDPTをメトリック（絶対）深度推定に適応させます。
• 実際のメトリック値で深度を推定することができます。
• 最先端の深度推定結果を達成します。

📚 ドキュメント

モデルの説明

ZoeDepthは、相対深度推定モデルであるDPTを、いわゆるメトリック（絶対とも呼ばれる）深度推定に適応させています。これにより、モデルは実際のメトリック値で深度を推定することができます。

ZoeDepthのアーキテクチャ。元の論文から引用。

想定される用途と制限

生のモデルは、ゼロショット単眼深度推定などのタスクに使用できます。興味のあるタスクに関する他のバージョンを探すには、モデルハブを参照してください。

使い方

最も簡単な方法は、ユーザーにとって複雑さを隠蔽するパイプラインAPIを利用することです。

from transformers import pipeline
from PIL import Image
import requests

# load pipe
depth_estimator = pipeline(task="depth-estimation", model="Intel/zoedepth-nyu-kitti")

# load image
url = 'http://images.cocodataset.org/val2017/000000039769.jpg'
image = Image.open(requests.get(url, stream=True).raw)

# inference
outputs = depth_estimator(image)
depth = outputs.depth

より多くのコード例については、ドキュメントを参照してください。

BibTeXエントリと引用情報

@misc{bhat2023zoedepth,
      title={ZoeDepth: Zero-shot Transfer by Combining Relative and Metric Depth}, 
      author={Shariq Farooq Bhat and Reiner Birkl and Diana Wofk and Peter Wonka and Matthias Müller},
      year={2023},
      eprint={2302.12288},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

📄 ライセンス

このモデルはMITライセンスの下で提供されています。