Depthpro

🚀 Depth Pro：不到一秒即可實現清晰的單目度量深度估計

我們推出了一款用於零樣本度量單目深度估計的基礎模型。我們的模型Depth Pro能夠合成具有無與倫比清晰度和高頻細節的高分辨率深度圖。其預測結果是具有絕對尺度的度量值，無需依賴相機內參等元數據。而且該模型速度極快，在標準GPU上僅需0.3秒就能生成一張225萬像素的深度圖。這些特性得益於多項技術貢獻，包括用於密集預測的高效多尺度視覺Transformer、結合真實和合成數據集以實現高度量精度和精細邊界追蹤的訓練方案、用於評估估計深度圖邊界精度的專用評估指標，以及從單張圖像進行的最先進的焦距估計技術。

Depth Pro在論文 Depth Pro: Sharp Monocular Metric Depth in Less Than a Second 中被首次提出，作者為 Aleksei Bochkovskii、Amaël Delaunoy、Hugo Germain、Marcel Santos、Yichao Zhou、Stephan R. Richter 和 Vladlen Koltun。

本倉庫中的檢查點是一個參考實現，已經過重新訓練。其性能接近論文中報告的模型，但並不完全一致。

🚀 快速開始

請按照 代碼倉庫 中的步驟設置您的環境。然後，您可以從上方的“文件和版本”選項卡下載檢查點，或者使用 huggingface-hub CLI：

pip install huggingface-hub
huggingface-cli download --local-dir checkpoints apple/DepthPro

✨ 主要特性

• 零樣本度量單目深度估計。
• 合成具有高清晰度和高頻細節的高分辨率深度圖。
• 預測結果具有絕對尺度，無需相機內參等元數據。
• 速度快，在標準GPU上0.3秒可生成225萬像素深度圖。
• 多項技術貢獻保障性能，如高效多尺度視覺Transformer、結合真實和合成數據集的訓練方案等。

📦 安裝指南

按照上述快速開始部分的步驟，使用以下命令安裝依賴並下載檢查點：

pip install huggingface-hub
huggingface-cli download --local-dir checkpoints apple/DepthPro

💻 使用示例

基礎用法

從命令行運行

代碼倉庫提供了一個輔助腳本，可在單張圖像上運行模型：

# 在單張圖像上運行預測：
depth-pro-run -i ./data/example.jpg
# 運行 `depth-pro-run -h` 查看可用選項。

從Python運行

from PIL import Image
import depth_pro

# 加載模型和預處理變換
model, transform = depth_pro.create_model_and_transforms()
model.eval()

# 加載並預處理圖像。
image, _, f_px = depth_pro.load_rgb(image_path)
image = transform(image)

# 運行推理。
prediction = model.infer(image, f_px=f_px)
depth = prediction["depth"]  # 深度，單位為 [m]。
focallength_px = prediction["focallength_px"]  # 焦距，單位為像素。

高級用法

評估（邊界指標）

邊界指標在 eval/boundary_metrics.py 中實現，可按以下方式使用：

# 對於基於深度的數據集
boundary_f1 = SI_boundary_F1(predicted_depth, target_depth)

# 對於基於掩碼的數據集（圖像摳圖/分割） 
boundary_recall = SI_boundary_Recall(predicted_depth, target_mask)

📚 詳細文檔

本倉庫中的檢查點是重新訓練後的參考實現，其性能接近論文中報告的模型，但不完全一致。更多詳細信息請參考論文 Depth Pro: Sharp Monocular Metric Depth in Less Than a Second。

📄 許可證

本項目使用的許可證為 apple-amlr。

🔗 引用

如果您覺得我們的工作有用，請引用以下論文：

@article{Bochkovskii2024:arxiv,
  author     = {Aleksei Bochkovskii and Ama\"{e}l Delaunoy and Hugo Germain and Marcel Santos and
               Yichao Zhou and Stephan R. Richter and Vladlen Koltun}
  title      = {Depth Pro: Sharp Monocular Metric Depth in Less Than a Second},
  journal    = {arXiv},
  year       = {2024},
}

🙏 致謝

我們的代碼庫基於多個開源貢獻構建，更多詳細信息請參閱 致謝。請查閱論文以獲取本工作中使用的完整參考文獻和數據集列表。