Meshanything

🚀 MeshAnything: オートレグレッシブTransformerによるアーティスト作成メッシュ生成

MeshAnythingは、オートレグレッシブTransformerを用いて画像から3Dメッシュを生成する手法です。アーティストが作成したメッシュの生成に特化しており、高品質な3Dモデルを生成することができます。

🚀 クイックスタート

MeshAnythingを使用するには、まずインストールを行い、その後使用方法に沿って操作を行います。以下に詳細を説明します。

✨ 主な機能

• 画像から3Dメッシュを生成することができます。
• コマンドラインからの推論が可能で、フォルダや単一ファイルの入力に対応しています。
• ポイントクラウドからの推論もサポートしています。

📦 インストール

当環境は、Ubuntu 22、CUDA 11.8、A100、A800、A6000でテストされています。以下の手順でインストールを行ってください。

git clone https://github.com/buaacyw/MeshAnything.git && cd MeshAnything
conda create -n MeshAnything python==3.10.13
conda activate MeshAnything
pip install torch==2.1.1 torchvision==0.16.1 torchaudio==2.1.1 --index-url https://download.pytorch.org/whl/cu118
pip install -r requirements.txt
pip install flash-attn --no-build-isolation

💻 使用例

基本的な使用法

ローカルGradioデモ

python app.py

メッシュコマンドライン推論

# フォルダ入力
python main.py --input_dir examples --out_dir mesh_output --input_type mesh

# 単一ファイル入力
python main.py --input_path examples/wand.ply --out_dir mesh_output --input_type mesh

# まずマーチングキューブで前処理
python main.py --input_dir examples --out_dir mesh_output --input_type mesh --mc

ポイントクラウドコマンドライン推論

# 注意: 独自のポイントクラウドを使用する場合は、法線が含まれていることを確認してください。
# ファイル形式は、形状が (N, 6) の .npy ファイルである必要があります。ここで、N は点の数です。最初の3列は座標で、最後の3列は法線です。

# フォルダの推論
python main.py --input_dir pc_examples --out_dir pc_output --input_type pc_normal

# 単一ファイルの推論
python main.py --input_dir pc_examples/mouse.npy --out_dir pc_output --input_type pc_normal

📚 ドキュメント

重要な注意事項

⚠️ 重要提示

• A6000 GPUでメッシュを生成するには、約7GBのメモリと30秒の時間がかかります。
• 入力メッシュは単位境界ボックスに正規化されます。より良い結果を得るには、入力メッシュの上方向ベクトルを +Y にする必要があります。
• 計算リソースの制限により、MeshAnythingは800面未満のメッシュで学習されており、800面を超えるメッシュを生成することはできません。入力メッシュの形状は十分にシャープである必要があります。そうでない場合、800面で表現することが困難になります。したがって、フィードフォワード型の画像から3Dへの変換方法では、形状品質が不十分なため、悪い結果が得られることが多いです。MeshAnythingの入力として、3D再構成、スキャン、およびSDSベースの方法（DreamCraft3Dなど）の結果を使用することをお勧めします。
• 詳細な例については、https://huggingface.co/spaces/Yiwen-ntu/MeshAnything/tree/main/examples を参照してください。

TODO

このリポジトリはまだ構築中です。ご理解とご忍耐をお願いいたします。

• [ ] 学習コードの公開
• [ ] より大きなモデルの公開

謝辞

当コードは、以下の素晴らしいリポジトリに基づいています。

• MeshGPT
• meshgpt-pytorch
• Michelangelo
• transformers
• vector-quantize-pytorch

BibTeX

@misc{chen2024meshanything,
  title={MeshAnything: Artist-Created Mesh Generation with Autoregressive Transformers},
  author={Yiwen Chen and Tong He and Di Huang and Weicai Ye and Sijin Chen and Jiaxiang Tang and Xin Chen and Zhongang Cai and Lei Yang and Gang Yu and Guosheng Lin and Chi Zhang},
  year={2024},
  eprint={2406.10163},
  archivePrefix={arXiv},
  primaryClass={cs.CV}
}