Meshanythingv2

🚀 MeshAnythingV2

MeshAnythingV2は、画像から3Dメッシュを生成するためのライブラリです。このライブラリは、高度な技術を用いて、高精度な3Dメッシュを生成することができます。

ライブラリのリポジトリ: https://github.com/buaacyw/MeshAnythingV2

🚀 クイックスタート

このセクションでは、MeshAnythingV2のインストールと使用方法について説明します。

📦 インストール

当社の環境は、Ubuntu 22、CUDA 11.8、A800でテストされています。

1. リポジトリをクローンし、conda環境を作成します。

git clone https://github.com/buaacyw/MeshAnythingV2.git && cd MeshAnythingV2
conda create -n MeshAnythingV2 python==3.10.13 -y
conda activate MeshAnythingV2
pip install torch==2.1.1 torchvision==0.16.1 torchaudio==2.1.1 --index-url https://download.pytorch.org/whl/cu118
pip install -r requirements.txt
pip install flash-attn --no-build-isolation
pip install -U gradio

💻 使用例

基本的な使用法

テキストまたは画像からアーティストが作成したメッシュを生成する場合

Rodinを使用して、まずテキストまたは画像から高密度メッシュを生成し、それを入力として使用することをおすすめします。

# Rodinの出力objファイルをrodin_resultに配置し、以下のコマンドを実行してアーティストが作成したメッシュを生成します。
# --mcフラグを使用して、入力メッシュをまずマーチングキューブ法で前処理することをおすすめします。これにより、推論点群をトレーニングドメインに合わせることができます。
python main.py --input_dir rodin_result --out_dir mesh_output --input_type mesh --mc

ローカルのGradioデモを実行する場合

python app.py

メッシュのコマンドライン推論を実行する場合

# フォルダ入力
python main.py --input_dir examples --out_dir mesh_output --input_type mesh

# 単一ファイル入力
python main.py --input_path examples/wand.obj --out_dir mesh_output --input_type mesh

# まずマーチングキューブ法で前処理する場合
python main.py --input_dir examples --out_dir mesh_output --input_type mesh --mc

# mc解像度はデフォルトで128に設定されています。一部の繊細なメッシュでは、この解像度では不十分な場合があります。解像度を上げると、前処理に時間がかかりますが、より良い結果が得られる可能性があります。
# 解像度を変更するには、--mc_level 7 -> 128 (2^7)、--mc_level 8 -> 256 (2^8)のように指定します。
# 256解像度のマーチングキューブ法の例
python main.py --input_dir examples --out_dir mesh_output --input_type mesh --mc --mc_level 8

点群のコマンドライン推論を実行する場合

# 注意: 独自の点群を使用する場合は、法線が含まれていることを確認してください。
# ファイル形式は、形状が(N, 6)の.npyファイルである必要があります。ここで、Nは点の数です。最初の3列は座標、最後の3列は法線です。

# フォルダの推論
python main.py --input_dir pc_examples --out_dir pc_output --input_type pc_normal

# 単一ファイルの推論
python main.py --input_path pc_examples/mouse.npy --out_dir pc_output --input_type pc_normal

📚 ドキュメント

重要な注意事項

• A6000 GPUでメッシュを生成するには、約8GBのメモリと45秒かかります（生成されるメッシュの面数によって異なります）。
• 入力メッシュは単位境界ボックスに正規化されます。入力メッシュの上向きベクトルは+Yであることをおすすめします。
• 計算リソースの制限により、MeshAnythingは1600面未満のメッシュでトレーニングされており、1600面を超えるメッシュを生成することはできません。入力メッシュの形状は十分にシャープである必要があります。そうでない場合、1600面で表現することが困難になります。したがって、フィードフォワード3D生成方法は、形状品質が不十分なため、悪い結果を生み出すことが多いです。MeshAnythingの入力として、3D再構成、スキャン、SDSベースの方法（DreamCraft3Dなど）またはRodinの結果を使用することをおすすめします。
• 詳細な例については、https://huggingface.co/spaces/Yiwen-ntu/MeshAnything/tree/main/examples を参照してください。

謝辞

当社のコードは、以下の素晴らしいリポジトリに基づいています。

• MeshAnything
• MeshGPT
• meshgpt-pytorch
• Michelangelo
• transformers
• vector-quantize-pytorch

BibTeX

@misc{chen2024meshanythingv2artistcreatedmesh,
      title={MeshAnything V2: Artist-Created Mesh Generation With Adjacent Mesh Tokenization}, 
      author={Yiwen Chen and Yikai Wang and Yihao Luo and Zhengyi Wang and Zilong Chen and Jun Zhu and Chi Zhang and Guosheng Lin},
      year={2024},
      eprint={2408.02555},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2408.02555}, 
}

📄 ライセンス

このプロジェクトは、MITライセンスの下で公開されています。