Meshanythingv2

🚀 MeshAnythingV2

MeshAnythingV2 是一个用于图像到 3D 转换的库，可实现文本或图像到艺术家创作网格的生成，支持多种输入类型和命令行推理方式。

🚀 快速开始

本项目的代码库可通过以下链接访问：https://github.com/buaacyw/MeshAnythingV2

✨ 主要特性

• 支持文本或图像到艺术家创作网格的生成。
• 提供本地 Gradio 演示。
• 支持网格和点云的命令行推理。

📦 安装指南

我们的环境已在 Ubuntu 22、CUDA 11.8 和 A800 上进行了测试。

1. 克隆我们的仓库并创建 conda 环境

git clone https://github.com/buaacyw/MeshAnythingV2.git && cd MeshAnythingV2
conda create -n MeshAnythingV2 python==3.10.13 -y
conda activate MeshAnythingV2
pip install torch==2.1.1 torchvision==0.16.1 torchaudio==2.1.1 --index-url https://download.pytorch.org/whl/cu118
pip install -r requirements.txt
pip install flash-attn --no-build-isolation
pip install -U gradio

💻 使用示例

基础用法

从文本/图像到艺术家创作网格

我们建议先使用 Rodin 实现文本或图像到密集网格的转换，然后将密集网格输入到我们的模型中。

# 将 Rodin 的输出 obj 文件放入 rodin_result 文件夹，并使用以下命令生成艺术家创作网格。
# 我们建议使用 --mc 标志先对输入网格进行 Marching Cubes 预处理。这有助于我们将推理点云与训练域对齐。
python main.py --input_dir rodin_result --out_dir mesh_output --input_type mesh --mc

本地 Gradio 演示

python app.py

高级用法

网格命令行推理

# 文件夹输入
python main.py --input_dir examples --out_dir mesh_output --input_type mesh

# 单文件输入
python main.py --input_path examples/wand.obj --out_dir mesh_output --input_type mesh

# 先使用 Marching Cubes 进行预处理
python main.py --input_dir examples --out_dir mesh_output --input_type mesh --mc

# mc 分辨率默认为 128。对于一些精细的网格，这个分辨率可能不够。提高分辨率会增加预处理时间，但可能会得到更好的结果。
# 通过以下方式更改分辨率：--mc_level 7 -> 128 (2^7)，--mc_level 8 -> 256 (2^8)。
# 256 分辨率的 Marching Cube 示例。
python main.py --input_dir examples --out_dir mesh_output --input_type mesh --mc --mc_level 8

点云命令行推理

# 注意：如果要使用自己的点云，请确保包含法线信息。
# 文件格式应为 .npy 文件，形状为 (N, 6)，其中 N 是点数。前 3 列是坐标，后 3 列是法线。

# 文件夹推理
python main.py --input_dir pc_examples --out_dir pc_output --input_type pc_normal

# 单文件推理
python main.py --input_path pc_examples/mouse.npy --out_dir pc_output --input_type pc_normal

📚 详细文档

重要提示

⚠️ 重要提示

• 在 A6000 GPU 上生成一个网格大约需要 8GB 内存和 45 秒（具体时间取决于生成网格的面数）。
• 输入网格将被归一化到单位边界框。为了获得更好的结果，输入网格的上向量应为 +Y。
• 由于计算资源的限制，MeshAnything 在面数少于 1600 的网格上进行训练，无法生成面数超过 1600 的网格。输入网格的形状应足够尖锐；否则，仅用 1600 个面来表示它将具有挑战性。因此，前馈 3D 生成方法可能由于形状质量不足而经常产生不良结果。我们建议使用 3D 重建、扫描、基于 SDS 的方法（如 DreamCraft3D）或 Rodin 的结果作为 MeshAnything 的输入。
• 更多示例请参考 https://huggingface.co/spaces/Yiwen-ntu/MeshAnything/tree/main/examples。

致谢

我们的代码基于以下优秀的仓库：

• MeshAnything
• MeshGPT
• meshgpt-pytorch
• Michelangelo
• transformers
• vector-quantize-pytorch

BibTeX 引用

@misc{chen2024meshanythingv2artistcreatedmesh,
      title={MeshAnything V2: Artist-Created Mesh Generation With Adjacent Mesh Tokenization}, 
      author={Yiwen Chen and Yikai Wang and Yihao Luo and Zhengyi Wang and Zilong Chen and Jun Zhu and Chi Zhang and Guosheng Lin},
      year={2024},
      eprint={2408.02555},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2408.02555}, 
}

📄 许可证

本项目采用 MIT 许可证。