Depthpro

🚀 Depth Pro: 1秒未満で鮮明な単眼メトリック深度推定

このモデルは、ゼロショットでの単眼メトリック深度推定のための基盤モデルです。Depth Proは、高解像度の深度マップを、比類のない鮮鋭度と高周波の詳細で合成します。予測結果はメトリックであり、カメラの内部パラメータなどのメタデータを必要とせずに絶対スケールを持ちます。また、標準的なGPU上で0.3秒で225万画素の深度マップを生成する高速なモデルです。これらの特性は、高密度予測用の効率的なマルチスケールビジョントランスフォーマー、実データと合成データを組み合わせた高精度なメトリック精度と細かい境界トレーシングを実現するトレーニングプロトコル、推定された深度マップの境界精度のための専用評価指標、単一画像からの最先端の焦点距離推定など、多くの技術的貢献によって可能になっています。

Depth Proは、Aleksei Bochkovskii, Amaël Delaunoy, Hugo Germain, Marcel Santos, Yichao Zhou, Stephan R. Richter, and Vladlen Koltunによる Depth Pro: Sharp Monocular Metric Depth in Less Than a Second で紹介されました。

このリポジトリのチェックポイントは、再トレーニングされた参照実装です。その性能は論文で報告されたモデルに近いですが、完全に一致するわけではありません。

🚀 クイックスタート

環境のセットアップ

コードリポジトリの手順に従って環境をセットアップしてください。その後、上の Files and versions タブからチェックポイントをダウンロードするか、huggingface-hub CLIを使用できます。

pip install huggingface-hub
huggingface-cli download --local-dir checkpoints apple/DepthPro

コマンドラインからの実行

コードリポジトリには、単一の画像でモデルを実行するためのヘルパースクリプトが用意されています。

# 単一の画像で予測を実行する:
depth-pro-run -i ./data/example.jpg
# 利用可能なオプションについては、`depth-pro-run -h` を実行してください。

Pythonからの実行

from PIL import Image
import depth_pro

# モデルと前処理変換をロードする
model, transform = depth_pro.create_model_and_transforms()
model.eval()

# 画像をロードして前処理する。
image, _, f_px = depth_pro.load_rgb(image_path)
image = transform(image)

# 推論を実行する。
prediction = model.infer(image, f_px=f_px)
depth = prediction["depth"]  # 深度 [m]。
focallength_px = prediction["focallength_px"]  # 焦点距離 [画素]。

評価 (境界指標)

境界指標は eval/boundary_metrics.py で実装されており、以下のように使用できます。

# 深度ベースのデータセットの場合
boundary_f1 = SI_boundary_F1(predicted_depth, target_depth)

# マスクベースのデータセット (画像マッティング / セグメンテーション) の場合
boundary_recall = SI_boundary_Recall(predicted_depth, target_mask)

📄 ライセンス

このプロジェクトは apple-amlr ライセンスの下で提供されています。

📚 引用

もしこの研究が役に立った場合は、以下の論文を引用してください。

@article{Bochkovskii2024:arxiv,
  author     = {Aleksei Bochkovskii and Ama\"{e}l Delaunoy and Hugo Germain and Marcel Santos and
               Yichao Zhou and Stephan R. Richter and Vladlen Koltun}
  title      = {Depth Pro: Sharp Monocular Metric Depth in Less Than a Second},
  journal    = {arXiv},
  year       = {2024},
}

謝辞

このコードベースは、複数のオープンソースの貢献を利用して構築されています。詳細については、謝辞を参照してください。

この研究で使用された参照文献とデータセットの完全なリストについては、論文を確認してください。