Ldm3d 4c

🚀 LDM3D-4C模型

LDM3D模型能夠根據給定的文本提示生成圖像和深度圖數據，讓用戶從文本提示中生成RGBD圖像。該模型在相關實驗中得到了驗證，還開發了名為DepthFusion的應用程序，具有廣泛的應用潛力。

🚀 快速開始

LDM3D模型在論文 LDM3D: Latent Diffusion Model for 3D 中被提出，作者為Gabriela Ben Melech Stan、Diana Wofk、Scottie Fox、Alex Redden、Will Saxton、Jean Yu、Estelle Aflalo、Shao-Yen Tseng、Fabio Nonato、Matthias Muller和Vasudev Lal。

LDM3D於2023年被 IEEE / CVF計算機視覺與模式識別會議 (CVPR) 收錄。

與之前的版本相比，這個新的檢查點將深度作為一個通道。

✨ 主要特性

• 能夠根據文本提示生成圖像和深度圖數據，可生成RGBD圖像。
• 模型在包含RGB圖像、深度圖和標題的元組數據集上進行了微調，並通過大量實驗驗證。
• 開發了名為DepthFusion的應用程序，可使用img2img管道創建沉浸式和交互式360度視圖體驗。

📚 詳細文檔

模型詳情

論文摘要如下：本研究論文提出了一種用於3D的潛在擴散模型（LDM3D），該模型可以從給定的文本提示中生成圖像和深度圖數據，使用戶能夠從文本提示中生成RGBD圖像。LDM3D模型在包含RGB圖像、深度圖和標題的元組數據集上進行了微調，並通過大量實驗進行了驗證。我們還開發了一個名為DepthFusion的應用程序，它使用img2img管道，通過TouchDesigner創建沉浸式和交互式360度視圖體驗。這項技術有潛力改變從娛樂、遊戲到建築和設計等廣泛的行業。總體而言，本文對生成式AI和計算機視覺領域做出了重要貢獻，並展示了LDM3D和DepthFusion在徹底改變內容創作和數字體驗方面的潛力。

LDM3D概述取自 LDM3D論文。

使用方法

你可以使用此模型根據文本提示生成RGB圖像和深度圖。 可以在 此鏈接 找到總結該方法的簡短視頻，在 這裡 找到VR演示。 也可以在 Spaces 上訪問演示。

以下是如何在CPU和GPU架構上使用PyTorch獲取給定文本的特徵：

from diffusers import StableDiffusionLDM3DPipeline

pipe = StableDiffusionLDM3DPipeline.from_pretrained("Intel/ldm3d-4c")

# 在CPU上
pipe.to("cpu")

# 在GPU上
pipe.to("cuda")

prompt = "A picture of some lemons on a table"
name = "lemons"

output = pipe(prompt)
rgb_image, depth_image = output.rgb, output.depth
rgb_image[0].save(name+"_ldm3d_4c_rgb.jpg")
depth_image[0].save(name+"_ldm3d_4c_depth.png")

這是結果：

訓練數據

LDM3D模型在從LAION - 400M數據集中的一個子集構建的數據集上進行了微調，LAION - 400M是一個大規模的圖像 - 標題數據集，包含超過4億個圖像 - 標題對。

微調

微調過程包括兩個階段。在第一階段，我們訓練一個自動編碼器以生成低維、感知等效的數據表示。隨後，我們使用凍結的自動編碼器微調擴散模型。

評估結果

定量結果

下表顯示了在512 x 512大小的MS - COCO數據集上，使用50個DDIM步驟進行文本條件圖像合成的定量結果。

我們的模型與具有相同參數數量（10.6億）的Stable Diffusion模型相當。IS和CLIP相似度分數是對MS - COCO數據集中30k個標題的平均值。

下表顯示了將LDM3D和DPT - Large與作為參考模型的ZoeDepth - N進行深度評估的結果。

上述結果可參考 LDM3D論文 中的表1和表2。

定性結果

下圖顯示了將我們的方法與 Stable Diffusion v1.4 和 DPT - Large 進行深度圖比較的一些定性結果。

倫理考量和侷限性

對於圖像生成，Stable Diffusion 的侷限性和偏差適用。對於深度圖生成，第一個侷限性是我們使用DPT - large來生成地面真值，因此，DPT 的其他侷限性和偏差也適用。

注意事項和建議

用戶（直接用戶和下游用戶）應該瞭解模型的風險、偏差和侷限性。

以下是一些瞭解更多英特爾AI軟件的有用鏈接：

• 英特爾PyTorch擴展
• 英特爾神經壓縮器

免責聲明

此模型的許可證不構成法律建議。我們不對使用此模型的第三方的行為負責。在將此模型用於商業目的之前，請諮詢律師。

BibTeX條目和引用信息

@misc{stan2023ldm3d,
	title={LDM3D: Latent Diffusion Model for 3D},
	author={Gabriela Ben Melech Stan and Diana Wofk and Scottie Fox and Alex Redden and Will Saxton and Jean Yu and Estelle Aflalo and Shao-Yen Tseng and Fabio Nonato and Matthias Muller and Vasudev Lal},
	year={2023},
	eprint={2305.10853},
	archivePrefix={arXiv},
	primaryClass={cs.CV}
}

模型信息表格