PRM

🚀 PRM

PRM: Photometric Stereo based Large Reconstruction Model のモデルカードです。このモデルは、細かい局所的な詳細を持つ高品質なメッシュを再構築するための、新しい光度ステレオベースの大規模再構築モデルです。

• コード: https://github.com/g3956/PRM
• Arxiv: http://arxiv.org/abs/2412.07371
• Gradioデモ: https://huggingface.co/spaces/LTT/PRM

🚀 クイックスタート

私たちはPRMを提案しています。これは、細かい局所的な詳細を持つ高品質なメッシュを再構築するための、新しい光度ステレオベースの大規模再構築モデルです。従来の大規模再構築モデルが固定された単純な照明下で準備した画像を入力と監督の両方に使用していたのに対し、PRMは材料と照明を変化させて光度ステレオ画像をレンダリングします。これにより、豊富な光度的手がかりを提供することで精密な局所的詳細を向上させるだけでなく、入力画像の外観の変化に対するモデルのロバスト性も向上させます。画像レンダリングの柔軟性を高めるために、リアルタイムレンダリング手法とメッシュラスタライゼーションを組み込んでオンラインでの画像レンダリングを行います。さらに、明示的なメッシュを3D表現として採用することで、微分可能なPBRの適用を保証し、複数の光度的監督の利用をサポートし、高品質な形状最適化のために鏡面反射色をより適切にモデル化します。私たちのPRMは、光度ステレオ画像を利用して、複雑な画像外観の中でも細かい局所的詳細を持つ高品質な再構築を実現します。広範な実験により、PRMが他のモデルを大幅に上回ることが示されています。

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下で提供されています。