🚀 混元3D-2(Hunyuan3D-2)
混元3D-2是一个先进的大规模3D合成系统,可用于生成高分辨率的纹理3D资产。它支持图像到3D和文本到3D的转换,在相关领域具有出色的性能和应用价值。
“让每个人都能尽情发挥想象,创造和操控3D资产。”
本仓库包含论文 混元3D 2.0:扩展扩散模型以生成高分辨率纹理3D资产 中的模型。有关代码和更多使用细节,请参考 GitHub仓库。
🚀 快速开始
你可以按照以下步骤通过代码或Gradio应用程序使用混元3D 2.0。
📦 安装指南
请通过 官方网站 安装PyTorch,然后通过以下命令安装其他依赖项:
pip install -r requirements.txt
cd hy3dgen/texgen/custom_rasterizer
python3 setup.py install
cd ../../..
cd hy3dgen/texgen/differentiable_renderer
bash compile_mesh_painter.sh OR python3 setup.py install (在Windows上)
💻 使用示例
基础用法
我们设计了一个类似diffusers的API来使用我们的形状生成模型 - 混元3D-DiT和纹理合成模型 - 混元3D-Paint。
你可以通过以下方式使用 混元3D-DiT:
from hy3dgen.shapegen import Hunyuan3DDiTFlowMatchingPipeline
pipeline = Hunyuan3DDiTFlowMatchingPipeline.from_pretrained('tencent/Hunyuan3D-2')
mesh = pipeline(image='assets/demo.png')[0]
输出的网格是一个 trimesh对象,你可以将其保存为glb/obj(或其他格式)文件。
对于 混元3D-Paint,请执行以下操作:
from hy3dgen.texgen import Hunyuan3DPaintPipeline
from hy3dgen.shapegen import Hunyuan3DDiTFlowMatchingPipeline
pipeline = Hunyuan3DDiTFlowMatchingPipeline.from_pretrained('tencent/Hunyuan3D-2')
mesh = pipeline(image='assets/demo.png')[0]
pipeline = Hunyuan3DPaintPipeline.from_pretrained('tencent/Hunyuan3D-2')
mesh = pipeline(mesh, image='assets/demo.png')
有关更多高级用法,如 文本到3D 和 为手工制作的网格生成纹理,请访问 minimal_demo.py。
高级用法
你也可以在自己的计算机上通过以下命令托管一个 Gradio 应用程序:
pip3 install gradio==3.39.0
python3 gradio_app.py
如果你不想自己托管,别忘了访问 混元3D 进行快速使用。
✨ 主要特性
架构
混元3D 2.0采用两阶段生成流程,首先创建一个裸网格,然后为该网格合成纹理映射。这种策略有效地将形状和纹理生成的难度解耦,并且为生成或手工制作的网格进行纹理处理提供了灵活性。
性能
我们已经将混元3D 2.0与其他开源和闭源的3D生成方法进行了评估。数值结果表明,混元3D 2.0在生成的纹理3D资产质量和条件跟随能力方面超过了所有基线模型。
模型 |
CMMD(↓) |
FID_CLIP(↓) |
FID(↓) |
CLIP分数(↑) |
顶级开源模型1 |
3.591 |
54.639 |
289.287 |
0.787 |
顶级闭源模型1 |
3.600 |
55.866 |
305.922 |
0.779 |
顶级闭源模型2 |
3.368 |
49.744 |
294.628 |
0.806 |
顶级闭源模型3 |
3.218 |
51.574 |
295.691 |
0.799 |
混元3D 2.0 |
3.193 |
49.165 |
282.429 |
0.809 |
混元3D 2.0的生成结果:
预训练模型
模型 |
日期 |
Huggingface |
混元3D-DiT-v2-0 |
2025-01-21 |
下载 |
混元3D-Paint-v2-0 |
2025-01-21 |
下载 |
混元3D-Delight-v2-0 |
2025-01-21 |
下载 |
📚 详细文档
开源计划
- [x] 推理代码
- [x] 模型检查点
- [x] 技术报告
- [ ] ComfyUI
- [ ] TensorRT版本
BibTeX引用
如果你发现本仓库有帮助,请引用我们的报告:
@misc{hunyuan3d22025tencent,
title={Hunyuan3D 2.0: Scaling Diffusion Models for High Resolution Textured 3D Assets Generation},
author={Tencent Hunyuan3D Team},
year={2025},
eprint={2501.12202},
archivePrefix={arXiv},
primaryClass={cs.CV}
}
@misc{yang2024tencent,
title={Tencent Hunyuan3D-1.0: A Unified Framework for Text-to-3D and Image-to-3D Generation},
author={Tencent Hunyuan3D Team},
year={2024},
eprint={2411.02293},
archivePrefix={arXiv},
primaryClass={cs.CV}
}
社区资源
感谢社区成员的贡献,这里有混元3D 2.0的一些优秀扩展:
致谢
我们要感谢 DINOv2、Stable Diffusion、FLUX、diffusers 和 HuggingFace 仓库的贡献者,感谢他们的开放研究和探索。
Star历史
📄 许可证
本项目采用 腾讯混元社区许可证。