Vfusion3d

🚀 [ECCV 2024] VFusion3D：從視頻擴散模型中學習可擴展的3D生成模型

VFusion3D是一個大型前饋3D生成模型，它利用少量3D數據和大量合成多視圖數據進行訓練。該工作首次探索了可擴展的3D生成/重建模型，是邁向3D基礎模型的重要一步。

🚀 快速開始

使用VFusion3D非常簡單！🤗 以下是如何通過Hugging Face使用該模型的步驟：

📦 安裝依賴（可選）

根據你的需求，你可能希望啟用特定功能，如網格生成或視頻渲染。我們為你提供了這些額外的包：

!pip --quiet install imageio[ffmpeg] PyMCubes trimesh rembg[gpu,cli] kiui

💻 使用示例

基礎用法

import torch
from transformers import AutoModel, AutoProcessor

# load the model and processor
model = AutoModel.from_pretrained("jadechoghari/vfusion3d", trust_remote_code=True)
processor = AutoProcessor.from_pretrained("jadechoghari/vfusion3d")

# download and preprocess the image
import requests
from PIL import Image
from io import BytesIO

image_url = 'https://sm.ign.com/ign_nordic/cover/a/avatar-gen/avatar-generations_prsz.jpg'
response = requests.get(image_url)
image = Image.open(BytesIO(response.content))

# preprocess the image and get the source camera 
image, source_camera = processor(image)


# generate planes (default output)
output_planes = model(image, source_camera)
print("Planes shape:", output_planes.shape)

# generate a 3D mesh
output_planes, mesh_path = model(image, source_camera, export_mesh=True)
print("Planes shape:", output_planes.shape)
print("Mesh saved at:", mesh_path)

# Generate a video
output_planes, video_path = model(image, source_camera, export_video=True)
print("Planes shape:", output_planes.shape)
print("Video saved at:", video_path)

• 默認輸出（平面）：默認情況下，VFusion3D輸出平面，非常適合進一步的3D操作。
• 導出網格：如果你需要一個3D網格，只需將export_mesh設置為True，你將得到一個.obj文件。你還可以通過調整mesh_size參數來自定義網格分辨率。
• 導出視頻：如果你想要一個3D視頻，將export_video設置為True，你將獲得一個從多個角度渲染的精美視頻。你可以調整render_size和fps來優化視頻效果。

快來查看我們的演示應用，看看VFusion3D的實際效果！🤗

✨ 主要特性

• 數據高效利用：利用少量3D數據和大量合成多視圖數據進行訓練。
• 多模態輸出：支持輸出平面、3D網格和3D視頻。

📚 詳細文檔

結果與比較

3D生成結果

用戶研究結果

致謝

VFusion3D的推理代碼大量借鑑了OpenLRM。

引用

如果你覺得這項工作有用，請引用我們：

@article{han2024vfusion3d,
  title={VFusion3D: Learning Scalable 3D Generative Models from Video Diffusion Models},
  author={Junlin Han and Filippos Kokkinos and Philip Torr},
  journal={European Conference on Computer Vision (ECCV)},
  year={2024}
}

📄 許可證

• VFusion3D的大部分內容遵循CC - BY - NC許可協議，但項目的部分內容遵循單獨的許可條款：OpenLRM整體遵循Apache許可證2.0版本，而某些組件受NVIDIA專有許可證的保護。
• VFusion3D的模型權重也遵循CC - BY - NC許可協議。

項目頁面，論文鏈接

新聞

• [2024年8月8日] HF演示已上線，非常感謝Jade Choghari的幫助。
• [2024年7月25日] 發佈VFusion3D的權重和推理代碼。

VFusion3D：從視頻擴散模型中學習可擴展的3D生成模型
韓俊霖，Filippos Kokkinos，Philip Torr
GenAI，Meta和牛津大學TVG
歐洲計算機視覺會議（ECCV），2024