Marigold Iid Lighting V1 1

🚀 マリーゴールド固有画像分解 (IID) 照明 v1-1 モデルカード

このモデルは、単一画像の固有画像分解 (IID) を行うための marigold-iid-lighting-v1-1 モデルのカードです。このモデルは、stable-diffusion-2 モデル を微調整したもので、以下の論文で説明されています。

• CVPR'2024 論文「Repurposing Diffusion-Based Image Generators for Monocular Depth Estimation」
• ジャーナル拡張版「Marigold: Affordable Adaptation of Diffusion-Based Image Generators for Image Analysis」

🚀 クイックスタート

モデルの使用方法

このモデルタイプ (lighting) は、HyperSim 分解を行い、アルベド、拡散陰影、非拡散残差 を生成するように訓練されています。この分解は、固有残差モデル \(I = A*S+R\) に基づいており、画像 \(I\) は 3 チャンネルのアルベド \(A\)、3 チャンネルの拡散陰影成分 \(S\)（照明色を表す）、および非拡散効果を捉える 3 チャンネルの加算残差項 \(R\) で構成されています。

入力は sRGB 色空間で、すべての出力は線形空間です。アルベド、粗さ、金属性に分解する別のモデルタイプ (appearance) は、こちら をクリックしてください。

• Hugging Face Spaces のデモ で試してみる：サンプル画像でモデルの動作を確認するか、自分の画像をアップロードしてください。
• diffusers を使用して、数行のコードで結果を計算する。
• 公式コードベース で詳細を確認する。

✨ 主な機能

このモデルは、入力画像の推定固有画像分解を生成するために使用できます。

📚 ドキュメント

モデルの詳細

• 開発者: Bingxin Ke, Kevin Qu, Tianfu Wang, Nando Metzger, Shengyu Huang, Bo Li, Anton Obukhov, Konrad Schindler.
• モデルタイプ: 単一画像からの生成的潜在拡散ベースの固有画像分解（照明: アルベド、拡散陰影、非拡散残差）。
• 言語: 英語。
• ライセンス: CreativeML Open RAIL++-M License。
• モデルの説明: このモデルは、入力画像の推定固有画像分解を生成するために使用できます。
  • 解像度: 任意の解像度を処理できますが、モデルはベース拡散モデルの有効解像度である約 768 ピクセルを継承しています。これは、最適な予測を得るために、より大きな入力画像は、モデルに入力する前に長辺を 768 ピクセルにリサイズする必要があることを意味します。
  • ステップ数とスケジューラ: このモデルは、DDIM スケジューラと 1 から 50 のノイズ除去ステップでの使用を想定して設計されています。
  • 出力:
    • アルベド: 予測値は 0 から 1 の間で、線形空間です。
    • 拡散陰影: 予測値は 0 から 1 の間で、線形空間です。
    • 非拡散残差: 予測値は 0 から 1 の間で、線形空間です。
    • 不確定性マップ: アンサンブルサイズが 2 より大きい複数の予測をアンサンブルした場合にのみ、各モダリティに対して生成されます。
• 詳細情報のリソース: プロジェクトウェブサイト, 論文, コード。
• 引用方法:

@misc{ke2025marigold,
  title={Marigold: Affordable Adaptation of Diffusion-Based Image Generators for Image Analysis},
  author={Bingxin Ke and Kevin Qu and Tianfu Wang and Nando Metzger and Shengyu Huang and Bo Li and Anton Obukhov and Konrad Schindler},
  year={2025},
  eprint={2505.09358},
  archivePrefix={arXiv},
  primaryClass={cs.CV}
}

@InProceedings{ke2023repurposing,
  title={Repurposing Diffusion-Based Image Generators for Monocular Depth Estimation},
  author={Bingxin Ke and Anton Obukhov and Shengyu Huang and Nando Metzger and Rodrigo Caye Daudt and Konrad Schindler},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  year={2024}
}

📄 ライセンス

このモデルは CreativeML Open RAIL++-M License の下で提供されています。