Hunyuan

🚀 混元3D-2

本項目是一個先進的大規模3D合成系統，可用於生成高分辨率的紋理3D資產。它包含形狀生成和紋理合成兩大核心模型，還配備了便捷的生產平臺，能有效助力3D資產的創作。

🚀 快速開始

你可以通過代碼或Gradio應用程序來使用混元3D-2，具體步驟如下：

安裝依賴

請先通過官方網站安裝Pytorch，然後通過以下命令安裝其他依賴：

pip install -r requirements.txt
# 針對紋理
cd hy3dgen/texgen/custom_rasterizer
python3 setup.py install
cd ../../..
cd hy3dgen/texgen/differentiable_renderer
bash compile_mesh_painter.sh OR python3 setup.py install (在Windows上)

API使用

我們設計了一個類似diffusers的API，用於使用形狀生成模型 - 混元3D-DiT和紋理合成模型 - 混元3D-Paint。

你可以通過以下方式使用混元3D-DiT：

from hy3dgen.shapegen import Hunyuan3DDiTFlowMatchingPipeline

pipeline = Hunyuan3DDiTFlowMatchingPipeline.from_pretrained('tencent/Hunyuan3D-2')
mesh = pipeline(image='assets/demo.png')[0]

輸出的網格是一個trimesh對象，你可以將其保存為glb/obj（或其他格式）的文件。

對於混元3D-Paint，請執行以下操作：

from hy3dgen.texgen import Hunyuan3DPaintPipeline
from hy3dgen.shapegen import Hunyuan3DDiTFlowMatchingPipeline

# 首先生成一個網格
pipeline = Hunyuan3DDiTFlowMatchingPipeline.from_pretrained('tencent/Hunyuan3D-2')
mesh = pipeline(image='assets/demo.png')[0]

pipeline = Hunyuan3DPaintPipeline.from_pretrained('tencent/Hunyuan3D-2')
mesh = pipeline(mesh, image='assets/demo.png')

有關更多高級用法，如文本到3D和手工網格的紋理生成，請訪問minimal_demo.py。

Gradio應用程序

你也可以通過以下命令在自己的計算機上託管一個Gradio應用程序：

pip3 install gradio==3.39.0
python3 gradio_app.py

如果你不想自己託管，別忘了訪問混元3D進行快速使用。

✨ 主要特性

本項目具有以下主要特性：

• 先進的大規模3D合成系統，可生成高分辨率的紋理3D資產。
• 包含兩個基礎組件：大規模形狀生成模型 - 混元3D-DiT和大規模紋理合成模型 - 混元3D-Paint。
• 構建了混元3D-Studio - 一個多功能、用戶友好的生產平臺，簡化了3D資產的再創作過程。
• 在幾何細節、條件對齊、紋理質量等方面優於之前的最先進模型。

📦 安裝指南

請先通過官方網站安裝Pytorch，然後通過以下命令安裝其他依賴：

pip install -r requirements.txt
# 針對紋理
cd hy3dgen/texgen/custom_rasterizer
python3 setup.py install
cd ../../..
cd hy3dgen/texgen/differentiable_renderer
bash compile_mesh_painter.sh OR python3 setup.py install (在Windows上)

💻 使用示例

基礎用法

from hy3dgen.shapegen import Hunyuan3DDiTFlowMatchingPipeline

pipeline = Hunyuan3DDiTFlowMatchingPipeline.from_pretrained('tencent/Hunyuan3D-2')
mesh = pipeline(image='assets/demo.png')[0]

高級用法

from hy3dgen.texgen import Hunyuan3DPaintPipeline
from hy3dgen.shapegen import Hunyuan3DDiTFlowMatchingPipeline

# 首先生成一個網格
pipeline = Hunyuan3DDiTFlowMatchingPipeline.from_pretrained('tencent/Hunyuan3D-2')
mesh = pipeline(image='assets/demo.png')[0]

pipeline = Hunyuan3DPaintPipeline.from_pretrained('tencent/Hunyuan3D-2')
mesh = pipeline(mesh, image='assets/demo.png')

有關更多高級用法，如文本到3D和手工網格的紋理生成，請訪問minimal_demo.py。

📚 詳細文檔

本項目包含以下詳細文檔：

• 架構：混元3D 2.0採用兩階段生成管道，先創建裸網格，再為該網格合成紋理映射。這種策略有效地將形狀和紋理生成的難度解耦，也為生成或手工製作的網格進行紋理處理提供了靈活性。

• 性能：我們將混元3D 2.0與其他開源和閉源的3D生成方法進行了評估。數值結果表明，混元3D 2.0在生成的紋理3D資產質量和條件跟隨能力方面超過了所有基線。 | 模型 | CMMD(⬇) | FID_CLIP(⬇) | FID(⬇) | CLIP分數(⬆) | |-------------------------|-----------|-------------|-------------|---------------| | 頂級開源模型1 | 3.591 | 54.639 | 289.287 | 0.787 | | 頂級閉源模型1 | 3.600 | 55.866 | 305.922 | 0.779 | | 頂級閉源模型2 | 3.368 | 49.744 | 294.628 | 0.806 | | 頂級閉源模型3 | 3.218 | 51.574 | 295.691 | 0.799 | | 混元3D 2.0 | 3.193 | 49.165 | 282.429 | 0.809 |

混元3D 2.0的生成結果：

• 預訓練模型 | 模型 | 日期 | Huggingface | |----------------------|------------|--------------------------------------------------------| | 混元3D-DiT-v2-0 | 2025-01-21 | 下載 | | 混元3D-Paint-v2-0 | 2025-01-21 | 下載 | | 混元3D-Delight-v2-0 | 2025-01-21 | 下載 |

🔧 技術細節

本項目的技術細節如下：

• 形狀生成模型 - 混元3D-DiT基於可擴展的基於流的擴散變換器構建，旨在創建與給定條件圖像正確對齊的幾何形狀，為下游應用奠定堅實基礎。
• 紋理合成模型 - 混元3D-Paint受益於強大的幾何和擴散先驗，為生成或手工製作的網格生成高分辨率和鮮豔的紋理映射。

📄 許可證

本項目採用tencent-hunyuan-community許可證。

🔗 BibTeX

如果你發現本倉庫有用，請引用我們的報告：

@misc{hunyuan3d22025tencent,
    title={Hunyuan3D 2.0: Scaling Diffusion Models for High Resolution Textured 3D Assets Generation},
    author={Tencent Hunyuan3D Team},
    year={2025},
    eprint={2501.12202},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}

@misc{yang2024tencent,
    title={Tencent Hunyuan3D-1.0: A Unified Framework for Text-to-3D and Image-to-3D Generation},
    author={Tencent Hunyuan3D Team},
    year={2024},
    eprint={2411.02293},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}

社區資源

感謝社區成員的貢獻，以下是混元3D 2.0的一些優秀擴展：

• ComfyUI-Hunyuan3DWrapper
• Hunyuan3D-2-for-windows
• 📦 用於在Windows上運行的捆綁包 | 整合包

致謝

我們要感謝DINOv2、Stable Diffusion、FLUX、diffusers和HuggingFace倉庫的貢獻者，感謝他們的開放研究和探索。

Star歷史

🔥 最新消息

• 2025年1月21日：💬 發佈混元3D 2.0。快來試用吧！

摘要

我們推出了混元3D 2.0，這是一個先進的大規模3D合成系統，用於生成高分辨率的紋理3D資產。該系統包括兩個基礎組件：大規模形狀生成模型 - 混元3D-DiT和大規模紋理合成模型 - 混元3D-Paint。形狀生成模型基於可擴展的基於流的擴散變換器構建，旨在創建與給定條件圖像正確對齊的幾何形狀，為下游應用奠定堅實基礎。紋理合成模型受益於強大的幾何和擴散先驗，為生成或手工製作的網格生成高分辨率和鮮豔的紋理映射。此外，我們構建了混元3D-Studio - 一個多功能、用戶友好的生產平臺，簡化了3D資產的再創作過程。它允許專業和業餘用戶高效地操作甚至動畫化他們的網格。我們系統地評估了我們的模型，結果表明混元3D 2.0在幾何細節、條件對齊、紋理質量等方面優於之前的最先進模型，包括開源模型和閉源模型。

項目鏈接

“ 實現每個人在創建和操作3D資產方面的想象。”

本倉庫包含論文Hunyuan3D 2.0: Scaling Diffusion Models for High Resolution Textured 3D Assets Generation的模型。有關代碼和更多使用細節，請參考Github倉庫。

開源計劃

• [x] 推理代碼
• [x] 模型檢查點
• [x] 技術報告
• [ ] ComfyUI
• [ ] TensorRT版本