Marigold Depth V1 0

🚀 金盞花深度 v1-0 模型卡片

本模型可用於單目深度估計，從單張圖像中生成深度圖。它基於穩定擴散模型微調而來，在計算機視覺領域有重要應用價值。

🚀 快速開始

使用模型

• 體驗交互式 Hugging Face Spaces 演示：查看模型如何處理示例圖像，也可上傳自己的圖像。
• 使用 diffusers 庫，只需幾行代碼即可計算結果。
• 查看 官方代碼庫 深入瞭解模型。

✨ 主要特性

本模型基於生成式潛在擴散，可進行單張圖像的仿射不變單目深度估計。它能生成輸入圖像的估計深度圖，具有以下特點：

• 分辨率：雖可處理任意分辨率圖像，但模型繼承了基礎擴散模型約 768 像素的有效分辨率。為獲得最佳預測效果，較大輸入圖像應調整為長邊 768 像素後再輸入模型。
• 步數和調度器：模型設計用於配合 DDIM 調度器，去噪步數在 10 到 50 之間。通過覆蓋 調度器配置文件 中的 "timestep_spacing": "trailing" 設置，或在代碼中加載管道後、首次使用前添加 pipe.scheduler = DDIMScheduler.from_config(pipe.scheduler.config, timestep_spacing="trailing")，僅需一步即可獲得良好預測結果。出於兼容性考慮，此 v1 - 0 模型與論文設置保持一致，並提供了 更新的 v1 - 1 模型，適用於所有可能的步數配置。
• 輸出：
  • 仿射不變深度圖：預測值在 0 到 1 之間，在模型選擇的近平面和遠平面之間進行插值。
  • 不確定性圖：僅在集成大小大於 2 的多次預測時生成。

📚 詳細文檔

模型詳情

• 開發者：柯冰心、安東·奧布霍夫、黃聖雨、南多·梅茨格、羅德里戈·凱·多德、康拉德·辛德勒。
• 模型類型：基於生成式潛在擴散的單張圖像仿射不變單目深度估計。
• 語言：英語。
• 許可證：Apache 許可證 2.0 版。
• 更多信息資源：項目網站、論文、代碼。

引用方式

@InProceedings{ke2023repurposing,
  title={Repurposing Diffusion-Based Image Generators for Monocular Depth Estimation},
  author={Bingxin Ke and Anton Obukhov and Shengyu Huang and Nando Metzger and Rodrigo Caye Daudt and Konrad Schindler},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  year={2024}
}

@misc{ke2025marigold,
  title={Marigold: Affordable Adaptation of Diffusion-Based Image Generators for Image Analysis},
  author={Bingxin Ke and Kevin Qu and Tianfu Wang and Nando Metzger and Shengyu Huang and Bo Li and Anton Obukhov and Konrad Schindler},
  year={2025},
  eprint={2505.09358},
  archivePrefix={arXiv},
  primaryClass={cs.CV}
}

📄 許可證

本模型採用 Apache 許可證 2.0 版。