Hunyuan

🚀 混元3D-2

本项目是一个先进的大规模3D合成系统，可用于生成高分辨率的纹理3D资产。它包含形状生成和纹理合成两大核心模型，还配备了便捷的生产平台，能有效助力3D资产的创作。

🚀 快速开始

你可以通过代码或Gradio应用程序来使用混元3D-2，具体步骤如下：

安装依赖

请先通过官方网站安装Pytorch，然后通过以下命令安装其他依赖：

pip install -r requirements.txt
# 针对纹理
cd hy3dgen/texgen/custom_rasterizer
python3 setup.py install
cd ../../..
cd hy3dgen/texgen/differentiable_renderer
bash compile_mesh_painter.sh OR python3 setup.py install (在Windows上)

API使用

我们设计了一个类似diffusers的API，用于使用形状生成模型 - 混元3D-DiT和纹理合成模型 - 混元3D-Paint。

你可以通过以下方式使用混元3D-DiT：

from hy3dgen.shapegen import Hunyuan3DDiTFlowMatchingPipeline

pipeline = Hunyuan3DDiTFlowMatchingPipeline.from_pretrained('tencent/Hunyuan3D-2')
mesh = pipeline(image='assets/demo.png')[0]

输出的网格是一个trimesh对象，你可以将其保存为glb/obj（或其他格式）的文件。

对于混元3D-Paint，请执行以下操作：

from hy3dgen.texgen import Hunyuan3DPaintPipeline
from hy3dgen.shapegen import Hunyuan3DDiTFlowMatchingPipeline

# 首先生成一个网格
pipeline = Hunyuan3DDiTFlowMatchingPipeline.from_pretrained('tencent/Hunyuan3D-2')
mesh = pipeline(image='assets/demo.png')[0]

pipeline = Hunyuan3DPaintPipeline.from_pretrained('tencent/Hunyuan3D-2')
mesh = pipeline(mesh, image='assets/demo.png')

有关更多高级用法，如文本到3D和手工网格的纹理生成，请访问minimal_demo.py。

Gradio应用程序

你也可以通过以下命令在自己的计算机上托管一个Gradio应用程序：

pip3 install gradio==3.39.0
python3 gradio_app.py

如果你不想自己托管，别忘了访问混元3D进行快速使用。

✨ 主要特性

本项目具有以下主要特性：

• 先进的大规模3D合成系统，可生成高分辨率的纹理3D资产。
• 包含两个基础组件：大规模形状生成模型 - 混元3D-DiT和大规模纹理合成模型 - 混元3D-Paint。
• 构建了混元3D-Studio - 一个多功能、用户友好的生产平台，简化了3D资产的再创作过程。
• 在几何细节、条件对齐、纹理质量等方面优于之前的最先进模型。

📦 安装指南

请先通过官方网站安装Pytorch，然后通过以下命令安装其他依赖：

pip install -r requirements.txt
# 针对纹理
cd hy3dgen/texgen/custom_rasterizer
python3 setup.py install
cd ../../..
cd hy3dgen/texgen/differentiable_renderer
bash compile_mesh_painter.sh OR python3 setup.py install (在Windows上)

💻 使用示例

基础用法

from hy3dgen.shapegen import Hunyuan3DDiTFlowMatchingPipeline

pipeline = Hunyuan3DDiTFlowMatchingPipeline.from_pretrained('tencent/Hunyuan3D-2')
mesh = pipeline(image='assets/demo.png')[0]

高级用法

from hy3dgen.texgen import Hunyuan3DPaintPipeline
from hy3dgen.shapegen import Hunyuan3DDiTFlowMatchingPipeline

# 首先生成一个网格
pipeline = Hunyuan3DDiTFlowMatchingPipeline.from_pretrained('tencent/Hunyuan3D-2')
mesh = pipeline(image='assets/demo.png')[0]

pipeline = Hunyuan3DPaintPipeline.from_pretrained('tencent/Hunyuan3D-2')
mesh = pipeline(mesh, image='assets/demo.png')

有关更多高级用法，如文本到3D和手工网格的纹理生成，请访问minimal_demo.py。

📚 详细文档

本项目包含以下详细文档：

• 架构：混元3D 2.0采用两阶段生成管道，先创建裸网格，再为该网格合成纹理映射。这种策略有效地将形状和纹理生成的难度解耦，也为生成或手工制作的网格进行纹理处理提供了灵活性。

• 性能：我们将混元3D 2.0与其他开源和闭源的3D生成方法进行了评估。数值结果表明，混元3D 2.0在生成的纹理3D资产质量和条件跟随能力方面超过了所有基线。 | 模型 | CMMD(⬇) | FID_CLIP(⬇) | FID(⬇) | CLIP分数(⬆) | |-------------------------|-----------|-------------|-------------|---------------| | 顶级开源模型1 | 3.591 | 54.639 | 289.287 | 0.787 | | 顶级闭源模型1 | 3.600 | 55.866 | 305.922 | 0.779 | | 顶级闭源模型2 | 3.368 | 49.744 | 294.628 | 0.806 | | 顶级闭源模型3 | 3.218 | 51.574 | 295.691 | 0.799 | | 混元3D 2.0 | 3.193 | 49.165 | 282.429 | 0.809 |

混元3D 2.0的生成结果：

• 预训练模型 | 模型 | 日期 | Huggingface | |----------------------|------------|--------------------------------------------------------| | 混元3D-DiT-v2-0 | 2025-01-21 | 下载 | | 混元3D-Paint-v2-0 | 2025-01-21 | 下载 | | 混元3D-Delight-v2-0 | 2025-01-21 | 下载 |

🔧 技术细节

本项目的技术细节如下：

• 形状生成模型 - 混元3D-DiT基于可扩展的基于流的扩散变换器构建，旨在创建与给定条件图像正确对齐的几何形状，为下游应用奠定坚实基础。
• 纹理合成模型 - 混元3D-Paint受益于强大的几何和扩散先验，为生成或手工制作的网格生成高分辨率和鲜艳的纹理映射。

📄 许可证

本项目采用tencent-hunyuan-community许可证。

🔗 BibTeX

如果你发现本仓库有用，请引用我们的报告：

@misc{hunyuan3d22025tencent,
    title={Hunyuan3D 2.0: Scaling Diffusion Models for High Resolution Textured 3D Assets Generation},
    author={Tencent Hunyuan3D Team},
    year={2025},
    eprint={2501.12202},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}

@misc{yang2024tencent,
    title={Tencent Hunyuan3D-1.0: A Unified Framework for Text-to-3D and Image-to-3D Generation},
    author={Tencent Hunyuan3D Team},
    year={2024},
    eprint={2411.02293},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}

社区资源

感谢社区成员的贡献，以下是混元3D 2.0的一些优秀扩展：

• ComfyUI-Hunyuan3DWrapper
• Hunyuan3D-2-for-windows
• 📦 用于在Windows上运行的捆绑包 | 整合包

致谢

我们要感谢DINOv2、Stable Diffusion、FLUX、diffusers和HuggingFace仓库的贡献者，感谢他们的开放研究和探索。

Star历史

🔥 最新消息

• 2025年1月21日：💬 发布混元3D 2.0。快来试用吧！

摘要

我们推出了混元3D 2.0，这是一个先进的大规模3D合成系统，用于生成高分辨率的纹理3D资产。该系统包括两个基础组件：大规模形状生成模型 - 混元3D-DiT和大规模纹理合成模型 - 混元3D-Paint。形状生成模型基于可扩展的基于流的扩散变换器构建，旨在创建与给定条件图像正确对齐的几何形状，为下游应用奠定坚实基础。纹理合成模型受益于强大的几何和扩散先验，为生成或手工制作的网格生成高分辨率和鲜艳的纹理映射。此外，我们构建了混元3D-Studio - 一个多功能、用户友好的生产平台，简化了3D资产的再创作过程。它允许专业和业余用户高效地操作甚至动画化他们的网格。我们系统地评估了我们的模型，结果表明混元3D 2.0在几何细节、条件对齐、纹理质量等方面优于之前的最先进模型，包括开源模型和闭源模型。

项目链接

“ 实现每个人在创建和操作3D资产方面的想象。”

本仓库包含论文Hunyuan3D 2.0: Scaling Diffusion Models for High Resolution Textured 3D Assets Generation的模型。有关代码和更多使用细节，请参考Github仓库。

开源计划

• [x] 推理代码
• [x] 模型检查点
• [x] 技术报告
• [ ] ComfyUI
• [ ] TensorRT版本