Meshanythingv2

🚀 MeshAnythingV2

MeshAnythingV2 是一個用於圖像到 3D 轉換的庫，可實現文本或圖像到藝術家創作網格的生成，支持多種輸入類型和命令行推理方式。

🚀 快速開始

本項目的代碼庫可通過以下鏈接訪問：https://github.com/buaacyw/MeshAnythingV2

✨ 主要特性

• 支持文本或圖像到藝術家創作網格的生成。
• 提供本地 Gradio 演示。
• 支持網格和點雲的命令行推理。

📦 安裝指南

我們的環境已在 Ubuntu 22、CUDA 11.8 和 A800 上進行了測試。

1. 克隆我們的倉庫並創建 conda 環境

git clone https://github.com/buaacyw/MeshAnythingV2.git && cd MeshAnythingV2
conda create -n MeshAnythingV2 python==3.10.13 -y
conda activate MeshAnythingV2
pip install torch==2.1.1 torchvision==0.16.1 torchaudio==2.1.1 --index-url https://download.pytorch.org/whl/cu118
pip install -r requirements.txt
pip install flash-attn --no-build-isolation
pip install -U gradio

💻 使用示例

基礎用法

從文本/圖像到藝術家創作網格

我們建議先使用 Rodin 實現文本或圖像到密集網格的轉換，然後將密集網格輸入到我們的模型中。

# 將 Rodin 的輸出 obj 文件放入 rodin_result 文件夾，並使用以下命令生成藝術家創作網格。
# 我們建議使用 --mc 標誌先對輸入網格進行 Marching Cubes 預處理。這有助於我們將推理點雲與訓練域對齊。
python main.py --input_dir rodin_result --out_dir mesh_output --input_type mesh --mc

本地 Gradio 演示

python app.py

高級用法

網格命令行推理

# 文件夾輸入
python main.py --input_dir examples --out_dir mesh_output --input_type mesh

# 單文件輸入
python main.py --input_path examples/wand.obj --out_dir mesh_output --input_type mesh

# 先使用 Marching Cubes 進行預處理
python main.py --input_dir examples --out_dir mesh_output --input_type mesh --mc

# mc 分辨率默認為 128。對於一些精細的網格，這個分辨率可能不夠。提高分辨率會增加預處理時間，但可能會得到更好的結果。
# 通過以下方式更改分辨率：--mc_level 7 -> 128 (2^7)，--mc_level 8 -> 256 (2^8)。
# 256 分辨率的 Marching Cube 示例。
python main.py --input_dir examples --out_dir mesh_output --input_type mesh --mc --mc_level 8

點雲命令行推理

# 注意：如果要使用自己的點雲，請確保包含法線信息。
# 文件格式應為 .npy 文件，形狀為 (N, 6)，其中 N 是點數。前 3 列是座標，後 3 列是法線。

# 文件夾推理
python main.py --input_dir pc_examples --out_dir pc_output --input_type pc_normal

# 單文件推理
python main.py --input_path pc_examples/mouse.npy --out_dir pc_output --input_type pc_normal

📚 詳細文檔

重要提示

⚠️ 重要提示

• 在 A6000 GPU 上生成一個網格大約需要 8GB 內存和 45 秒（具體時間取決於生成網格的面數）。
• 輸入網格將被歸一化到單位邊界框。為了獲得更好的結果，輸入網格的上向量應為 +Y。
• 由於計算資源的限制，MeshAnything 在面數少於 1600 的網格上進行訓練，無法生成面數超過 1600 的網格。輸入網格的形狀應足夠尖銳；否則，僅用 1600 個面來表示它將具有挑戰性。因此，前饋 3D 生成方法可能由於形狀質量不足而經常產生不良結果。我們建議使用 3D 重建、掃描、基於 SDS 的方法（如 DreamCraft3D）或 Rodin 的結果作為 MeshAnything 的輸入。
• 更多示例請參考 https://huggingface.co/spaces/Yiwen-ntu/MeshAnything/tree/main/examples。

致謝

我們的代碼基於以下優秀的倉庫：

• MeshAnything
• MeshGPT
• meshgpt-pytorch
• Michelangelo
• transformers
• vector-quantize-pytorch

BibTeX 引用

@misc{chen2024meshanythingv2artistcreatedmesh,
      title={MeshAnything V2: Artist-Created Mesh Generation With Adjacent Mesh Tokenization}, 
      author={Yiwen Chen and Yikai Wang and Yihao Luo and Zhengyi Wang and Zilong Chen and Jun Zhu and Chi Zhang and Guosheng Lin},
      year={2024},
      eprint={2408.02555},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2408.02555}, 
}

📄 許可證

本項目採用 MIT 許可證。