Depthpro

🚀 Depth Pro：不到一秒即可实现清晰的单目度量深度估计

我们推出了一款用于零样本度量单目深度估计的基础模型。我们的模型Depth Pro能够合成具有无与伦比清晰度和高频细节的高分辨率深度图。其预测结果是具有绝对尺度的度量值，无需依赖相机内参等元数据。而且该模型速度极快，在标准GPU上仅需0.3秒就能生成一张225万像素的深度图。这些特性得益于多项技术贡献，包括用于密集预测的高效多尺度视觉Transformer、结合真实和合成数据集以实现高度量精度和精细边界追踪的训练方案、用于评估估计深度图边界精度的专用评估指标，以及从单张图像进行的最先进的焦距估计技术。

Depth Pro在论文 Depth Pro: Sharp Monocular Metric Depth in Less Than a Second 中被首次提出，作者为 Aleksei Bochkovskii、Amaël Delaunoy、Hugo Germain、Marcel Santos、Yichao Zhou、Stephan R. Richter 和 Vladlen Koltun。

本仓库中的检查点是一个参考实现，已经过重新训练。其性能接近论文中报告的模型，但并不完全一致。

🚀 快速开始

请按照 代码仓库 中的步骤设置您的环境。然后，您可以从上方的“文件和版本”选项卡下载检查点，或者使用 huggingface-hub CLI：

pip install huggingface-hub
huggingface-cli download --local-dir checkpoints apple/DepthPro

✨ 主要特性

• 零样本度量单目深度估计。
• 合成具有高清晰度和高频细节的高分辨率深度图。
• 预测结果具有绝对尺度，无需相机内参等元数据。
• 速度快，在标准GPU上0.3秒可生成225万像素深度图。
• 多项技术贡献保障性能，如高效多尺度视觉Transformer、结合真实和合成数据集的训练方案等。

📦 安装指南

按照上述快速开始部分的步骤，使用以下命令安装依赖并下载检查点：

pip install huggingface-hub
huggingface-cli download --local-dir checkpoints apple/DepthPro

💻 使用示例

基础用法

从命令行运行

代码仓库提供了一个辅助脚本，可在单张图像上运行模型：

# 在单张图像上运行预测：
depth-pro-run -i ./data/example.jpg
# 运行 `depth-pro-run -h` 查看可用选项。

从Python运行

from PIL import Image
import depth_pro

# 加载模型和预处理变换
model, transform = depth_pro.create_model_and_transforms()
model.eval()

# 加载并预处理图像。
image, _, f_px = depth_pro.load_rgb(image_path)
image = transform(image)

# 运行推理。
prediction = model.infer(image, f_px=f_px)
depth = prediction["depth"]  # 深度，单位为 [m]。
focallength_px = prediction["focallength_px"]  # 焦距，单位为像素。

高级用法

评估（边界指标）

边界指标在 eval/boundary_metrics.py 中实现，可按以下方式使用：

# 对于基于深度的数据集
boundary_f1 = SI_boundary_F1(predicted_depth, target_depth)

# 对于基于掩码的数据集（图像抠图/分割） 
boundary_recall = SI_boundary_Recall(predicted_depth, target_mask)

📚 详细文档

本仓库中的检查点是重新训练后的参考实现，其性能接近论文中报告的模型，但不完全一致。更多详细信息请参考论文 Depth Pro: Sharp Monocular Metric Depth in Less Than a Second。

📄 许可证

本项目使用的许可证为 apple-amlr。

🔗 引用

如果您觉得我们的工作有用，请引用以下论文：

@article{Bochkovskii2024:arxiv,
  author     = {Aleksei Bochkovskii and Ama\"{e}l Delaunoy and Hugo Germain and Marcel Santos and
               Yichao Zhou and Stephan R. Richter and Vladlen Koltun}
  title      = {Depth Pro: Sharp Monocular Metric Depth in Less Than a Second},
  journal    = {arXiv},
  year       = {2024},
}

🙏 致谢

我们的代码库基于多个开源贡献构建，更多详细信息请参阅 致谢。请查阅论文以获取本工作中使用的完整参考文献和数据集列表。