Hunyuan3d 2

🚀 混元3D-2

本項目是一個先進的大規模3D合成系統，用於生成高分辨率的紋理3D資產。它包含形狀生成和紋理合成模型，還配備了用戶友好的生產平臺，在多個方面超越了先前的先進模型。

🚀 快速開始

你可以按照以下步驟，通過代碼或Gradio應用程序使用混元3D 2.0。

安裝依賴

請通過官方網站安裝PyTorch。然後通過以下命令安裝其他依賴：

pip install -r requirements.txt
# 針對紋理
cd hy3dgen/texgen/custom_rasterizer
python3 setup.py install
cd ../../..
cd hy3dgen/texgen/differentiable_renderer
bash compile_mesh_painter.sh OR python3 setup.py install (在Windows上)

API使用方法

我們設計了一個類似diffusers的API，用於使用我們的形狀生成模型 - 混元3D - DiT和紋理合成模型 - 混元3D - Paint。

你可以通過以下方式使用混元3D - DiT：

from hy3dgen.shapegen import Hunyuan3DDiTFlowMatchingPipeline

pipeline = Hunyuan3DDiTFlowMatchingPipeline.from_pretrained('tencent/Hunyuan3D-2')
mesh = pipeline(image='assets/demo.png')[0]

輸出的網格是一個trimesh對象，你可以將其保存為glb/obj（或其他格式）文件。

對於混元3D - Paint，請執行以下操作：

from hy3dgen.texgen import Hunyuan3DPaintPipeline
from hy3dgen.shapegen import Hunyuan3DDiTFlowMatchingPipeline

# 首先生成一個網格
pipeline = Hunyuan3DDiTFlowMatchingPipeline.from_pretrained('tencent/Hunyuan3D-2')
mesh = pipeline(image='assets/demo.png')[0]

pipeline = Hunyuan3DPaintPipeline.from_pretrained('tencent/Hunyuan3D-2')
mesh = pipeline(mesh, image='assets/demo.png')

有關更高級的用法，如文本到3D和為手工製作的網格生成紋理，請訪問minimal_demo.py。

Gradio應用程序

你也可以通過以下命令在自己的計算機上部署一個Gradio應用程序：

pip3 install gradio==3.39.0
python3 gradio_app.py

如果你不想自己部署，別忘了訪問混元3D進行快速使用。

✨ 主要特性

架構

混元3D 2.0採用兩階段生成流程，先創建裸網格，然後為該網格合成紋理映射。這種策略有效地將形狀和紋理生成的難度解耦，並且為生成或手工製作的網格進行紋理處理提供了靈活性。

性能

我們將混元3D 2.0與其他開源和閉源的3D生成方法進行了評估。數值結果表明，混元3D 2.0在生成的紋理3D資產質量和條件跟隨能力方面超過了所有基線模型。

預訓練模型

📦 安裝指南

請通過官方網站安裝PyTorch。然後通過以下命令安裝其他依賴：

pip install -r requirements.txt
# 針對紋理
cd hy3dgen/texgen/custom_rasterizer
python3 setup.py install
cd ../../..
cd hy3dgen/texgen/differentiable_renderer
bash compile_mesh_painter.sh OR python3 setup.py install (在Windows上)

💻 使用示例

基礎用法

from hy3dgen.shapegen import Hunyuan3DDiTFlowMatchingPipeline

pipeline = Hunyuan3DDiTFlowMatchingPipeline.from_pretrained('tencent/Hunyuan3D-2')
mesh = pipeline(image='assets/demo.png')[0]

高級用法

from hy3dgen.texgen import Hunyuan3DPaintPipeline
from hy3dgen.shapegen import Hunyuan3DDiTFlowMatchingPipeline

# 首先生成一個網格
pipeline = Hunyuan3DDiTFlowMatchingPipeline.from_pretrained('tencent/Hunyuan3D-2')
mesh = pipeline(image='assets/demo.png')[0]

pipeline = Hunyuan3DPaintPipeline.from_pretrained('tencent/Hunyuan3D-2')
mesh = pipeline(mesh, image='assets/demo.png')

📚 詳細文檔

摘要

我們推出了混元3D 2.0，這是一個先進的大規模3D合成系統，用於生成高分辨率的紋理3D資產。該系統包括兩個基礎組件：一個大規模形狀生成模型 - 混元3D - DiT，以及一個大規模紋理合成模型 - 混元3D - Paint。

形狀生成模型基於可擴展的基於流的擴散變換器構建，旨在創建與給定條件圖像正確對齊的幾何形狀，為下游應用奠定堅實基礎。紋理合成模型受益於強大的幾何和擴散先驗，為生成或手工製作的網格生成高分辨率和生動的紋理映射。

此外，我們構建了混元3D - Studio - 一個多功能、用戶友好的生產平臺，簡化了3D資產的重新創建過程。它允許專業和業餘用戶高效地操作甚至動畫化他們的網格。

我們對我們的模型進行了系統評估，結果表明混元3D 2.0在幾何細節、條件對齊、紋理質量等方面優於先前的先進模型，包括開源模型和閉源模型。

開源計劃

• [x] 推理代碼
• [x] 模型檢查點
• [x] 技術報告
• [ ] ComfyUI
• [ ] TensorRT版本

🔧 技術細節

本倉庫包含論文《混元3D 2.0：擴展擴散模型以生成高分辨率紋理3D資產》的模型。如需代碼和更多使用細節，請參考Github倉庫。

📄 許可證

本項目採用tencent - hunyuan - community許可證。

🔗 BibTeX

如果你覺得這個倉庫有用，請引用我們的報告：

@misc{hunyuan3d22025tencent,
    title={Hunyuan3D 2.0: Scaling Diffusion Models for High Resolution Textured 3D Assets Generation},
    author={Tencent Hunyuan3D Team},
    year={2025},
    eprint={2501.12202},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}

@misc{yang2024tencent,
    title={Tencent Hunyuan3D-1.0: A Unified Framework for Text-to-3D and Image-to-3D Generation},
    author={Tencent Hunyuan3D Team},
    year={2024},
    eprint={2411.02293},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}

社區資源

感謝社區成員的貢獻，以下是混元3D 2.0的一些優秀擴展：

• ComfyUI - Hunyuan3DWrapper
• Hunyuan3D - 2 - for - windows
• 📦 用於在Windows上運行的整合包

致謝

我們要感謝DINOv2、Stable Diffusion、FLUX、diffusers和HuggingFace倉庫的貢獻者，感謝他們的開放研究和探索。

星標歷史