Marigold Iid Appearance V1 1

🚀 金盞花固有圖像分解（IID）外觀v1 - 1模型卡片

本模型卡片介紹的marigold - iid - appearance - v1 - 1模型，可用於單圖像的固有圖像分解（IID）。該模型基於stable - diffusion - 2 模型進行微調，相關研究成果發表在以下論文中：

• CVPR'2024論文，標題為 "Repurposing Diffusion - Based Image Generators for Monocular Depth Estimation"
• 期刊擴展，標題為 "Marigold: Affordable Adaptation of Diffusion - Based Image Generators for Image Analysis"

🚀 快速開始

使用模型

此模型類型（外觀）經過訓練，可將InteriorVerse分解為反照率和兩個BRDF材料屬性：粗糙度和金屬度。 輸入圖像和輸出反照率均採用sRGB顏色空間。 若需另一種可將圖像分解為反照率、漫反射陰影和非漫反射殘差的模型類型（光照），請點擊此處。

• 體驗交互式Hugging Face Spaces演示：查看模型如何處理示例圖像，或上傳您自己的圖像。
• 使用diffusers：只需幾行代碼即可計算結果。
• 查看官方代碼庫深入瞭解模型。

✨ 主要特性

本模型可用於生成輸入圖像的估計固有圖像分解結果。

• 分辨率：儘管模型可以處理任何分辨率的圖像，但它繼承了基礎擴散模型約768像素的有效分辨率。這意味著為了獲得最佳預測效果，較大的輸入圖像在輸入模型之前，應將較長邊調整為768像素。
• 步驟和調度器：該模型設計用於與DDIM調度器配合使用，去噪步驟介於1到50之間。
• 輸出：
  • 反照率：預測值介於0到1之間，採用sRGB空間。
  • 粗糙度和金屬度：預測值介於0到1之間，採用線性空間。
  • 不確定性圖：僅當使用集成大小大於2的多個預測進行集成時，才會為每個模態生成不確定性圖。

📚 詳細文檔

模型詳情

• 開發者：柯冰心、Kevin Qu、王天富、Nando Metzger、黃聖雨、李博、Anton Obukhov、Konrad Schindler。
• 模型類型：基於生成式潛在擴散的單圖像固有圖像分解（外觀：反照率、粗糙度和金屬度）。
• 語言：英語。
• 許可證：CreativeML Open RAIL++ - M許可證。
• 更多信息資源：項目網站、論文、代碼。
• 引用方式：

@misc{ke2025marigold,
  title={Marigold: Affordable Adaptation of Diffusion-Based Image Generators for Image Analysis},
  author={Bingxin Ke and Kevin Qu and Tianfu Wang and Nando Metzger and Shengyu Huang and Bo Li and Anton Obukhov and Konrad Schindler},
  year={2025},
  eprint={2505.09358},
  archivePrefix={arXiv},
  primaryClass={cs.CV}
}

@InProceedings{ke2023repurposing,
  title={Repurposing Diffusion-Based Image Generators for Monocular Depth Estimation},
  author={Bingxin Ke and Anton Obukhov and Shengyu Huang and Nando Metzger and Rodrigo Caye Daudt and Konrad Schindler},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  year={2024}
}

📄 許可證

本模型使用CreativeML Open RAIL++ - M許可證。