Hunyuan3d 2

🚀 混元3D-2

本项目是一个先进的大规模3D合成系统，用于生成高分辨率的纹理3D资产。它包含形状生成和纹理合成模型，还配备了用户友好的生产平台，在多个方面超越了先前的先进模型。

🚀 快速开始

你可以按照以下步骤，通过代码或Gradio应用程序使用混元3D 2.0。

安装依赖

请通过官方网站安装PyTorch。然后通过以下命令安装其他依赖：

pip install -r requirements.txt
# 针对纹理
cd hy3dgen/texgen/custom_rasterizer
python3 setup.py install
cd ../../..
cd hy3dgen/texgen/differentiable_renderer
bash compile_mesh_painter.sh OR python3 setup.py install (在Windows上)

API使用方法

我们设计了一个类似diffusers的API，用于使用我们的形状生成模型 - 混元3D - DiT和纹理合成模型 - 混元3D - Paint。

你可以通过以下方式使用混元3D - DiT：

from hy3dgen.shapegen import Hunyuan3DDiTFlowMatchingPipeline

pipeline = Hunyuan3DDiTFlowMatchingPipeline.from_pretrained('tencent/Hunyuan3D-2')
mesh = pipeline(image='assets/demo.png')[0]

输出的网格是一个trimesh对象，你可以将其保存为glb/obj（或其他格式）文件。

对于混元3D - Paint，请执行以下操作：

from hy3dgen.texgen import Hunyuan3DPaintPipeline
from hy3dgen.shapegen import Hunyuan3DDiTFlowMatchingPipeline

# 首先生成一个网格
pipeline = Hunyuan3DDiTFlowMatchingPipeline.from_pretrained('tencent/Hunyuan3D-2')
mesh = pipeline(image='assets/demo.png')[0]

pipeline = Hunyuan3DPaintPipeline.from_pretrained('tencent/Hunyuan3D-2')
mesh = pipeline(mesh, image='assets/demo.png')

有关更高级的用法，如文本到3D和为手工制作的网格生成纹理，请访问minimal_demo.py。

Gradio应用程序

你也可以通过以下命令在自己的计算机上部署一个Gradio应用程序：

pip3 install gradio==3.39.0
python3 gradio_app.py

如果你不想自己部署，别忘了访问混元3D进行快速使用。

✨ 主要特性

架构

混元3D 2.0采用两阶段生成流程，先创建裸网格，然后为该网格合成纹理映射。这种策略有效地将形状和纹理生成的难度解耦，并且为生成或手工制作的网格进行纹理处理提供了灵活性。

性能

我们将混元3D 2.0与其他开源和闭源的3D生成方法进行了评估。数值结果表明，混元3D 2.0在生成的纹理3D资产质量和条件跟随能力方面超过了所有基线模型。

预训练模型

📦 安装指南

请通过官方网站安装PyTorch。然后通过以下命令安装其他依赖：

pip install -r requirements.txt
# 针对纹理
cd hy3dgen/texgen/custom_rasterizer
python3 setup.py install
cd ../../..
cd hy3dgen/texgen/differentiable_renderer
bash compile_mesh_painter.sh OR python3 setup.py install (在Windows上)

💻 使用示例

基础用法

from hy3dgen.shapegen import Hunyuan3DDiTFlowMatchingPipeline

pipeline = Hunyuan3DDiTFlowMatchingPipeline.from_pretrained('tencent/Hunyuan3D-2')
mesh = pipeline(image='assets/demo.png')[0]

高级用法

from hy3dgen.texgen import Hunyuan3DPaintPipeline
from hy3dgen.shapegen import Hunyuan3DDiTFlowMatchingPipeline

# 首先生成一个网格
pipeline = Hunyuan3DDiTFlowMatchingPipeline.from_pretrained('tencent/Hunyuan3D-2')
mesh = pipeline(image='assets/demo.png')[0]

pipeline = Hunyuan3DPaintPipeline.from_pretrained('tencent/Hunyuan3D-2')
mesh = pipeline(mesh, image='assets/demo.png')

📚 详细文档

摘要

我们推出了混元3D 2.0，这是一个先进的大规模3D合成系统，用于生成高分辨率的纹理3D资产。该系统包括两个基础组件：一个大规模形状生成模型 - 混元3D - DiT，以及一个大规模纹理合成模型 - 混元3D - Paint。

形状生成模型基于可扩展的基于流的扩散变换器构建，旨在创建与给定条件图像正确对齐的几何形状，为下游应用奠定坚实基础。纹理合成模型受益于强大的几何和扩散先验，为生成或手工制作的网格生成高分辨率和生动的纹理映射。

此外，我们构建了混元3D - Studio - 一个多功能、用户友好的生产平台，简化了3D资产的重新创建过程。它允许专业和业余用户高效地操作甚至动画化他们的网格。

我们对我们的模型进行了系统评估，结果表明混元3D 2.0在几何细节、条件对齐、纹理质量等方面优于先前的先进模型，包括开源模型和闭源模型。

开源计划

• [x] 推理代码
• [x] 模型检查点
• [x] 技术报告
• [ ] ComfyUI
• [ ] TensorRT版本

🔧 技术细节

本仓库包含论文《混元3D 2.0：扩展扩散模型以生成高分辨率纹理3D资产》的模型。如需代码和更多使用细节，请参考Github仓库。

📄 许可证

本项目采用tencent - hunyuan - community许可证。

🔗 BibTeX

如果你觉得这个仓库有用，请引用我们的报告：

@misc{hunyuan3d22025tencent,
    title={Hunyuan3D 2.0: Scaling Diffusion Models for High Resolution Textured 3D Assets Generation},
    author={Tencent Hunyuan3D Team},
    year={2025},
    eprint={2501.12202},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}

@misc{yang2024tencent,
    title={Tencent Hunyuan3D-1.0: A Unified Framework for Text-to-3D and Image-to-3D Generation},
    author={Tencent Hunyuan3D Team},
    year={2024},
    eprint={2411.02293},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}

社区资源

感谢社区成员的贡献，以下是混元3D 2.0的一些优秀扩展：

• ComfyUI - Hunyuan3DWrapper
• Hunyuan3D - 2 - for - windows
• 📦 用于在Windows上运行的整合包

致谢

我们要感谢DINOv2、Stable Diffusion、FLUX、diffusers和HuggingFace仓库的贡献者，感谢他们的开放研究和探索。

星标历史