Uni 3DAR

🚀 Uni-3DAR

Uni-3DAR是一個自迴歸模型，它統一了各種3D任務。該模型能夠無縫處理多種3D數據類型，支持多樣化任務，且在效率和準確性上表現出色，為3D領域的研究和應用提供了強大的工具。

📚 詳細文檔

簡介

Uni-3DAR框架示意圖

Uni-3DAR是一個統一各種3D任務的自迴歸模型。具體而言，它有以下改進：

1. 多種3D數據類型的統一處理
   儘管目前主要關注分子、蛋白質和晶體等微觀結構，但該方法可以無縫應用於宏觀3D結構。

2. 支持多樣化任務
   Uni-3DAR在單個模型中自然支持廣泛的任務，尤其適用於生成和理解任務。

3. 高效率
   它使用八叉樹壓縮結合提出的2級子樹壓縮，僅用數百個標記來表示完整的3D空間，而全尺寸網格則需要數萬個標記。推理基準測試也表明，Uni-3DAR比基於擴散的模型快得多。

4. 高精度
   在八叉樹壓縮的基礎上，Uni-3DAR進一步對細粒度的3D塊進行標記化，以保持結構細節，生成質量明顯優於以往基於擴散的模型。

最新消息

2025-03-21：我們已經發布了核心模型以及QM9訓練和推理管道。

依賴項

• Uni-Core。為方便使用，可以使用預構建的Docker鏡像：
  docker pull dptechnology/unicore:2407-pytorch2.4.0-cuda12.5-rdma

在QM9上覆現結果

要使用預訓練模型在QM9數據集上覆現結果或從頭開始訓練，請按照以下說明操作。

下載預訓練模型和數據集

從Hugging Face倉庫下載預訓練檢查點 (qm9.pt) 和數據集存檔 (qm9_data.tar.gz)。

使用預訓練模型進行推理

使用預訓練模型生成QM9分子：

bash inference_qm9.sh qm9.pt

從頭開始訓練

從頭開始訓練模型：

1. 解壓數據集：

tar -xzvf qm9_data.tar.gz

2. 使用所需的數據路徑和實驗名稱運行訓練腳本：

base_dir=/your_folder_to_save/ bash train_qm9.sh ./qm9_data/ name_of_your_exp

引用

如果使用了相關數據、代碼或模型，請引用我們的論文。

@article{lu2025uni3dar,
  author    = {Shuqi Lu and Haowei Lin and Lin Yao and Zhifeng Gao and Xiaohong Ji and Weinan E and Linfeng Zhang and Guolin Ke},
  title     = {Uni-3DAR: Unified 3D Generation and Understanding via Autoregression on Compressed Spatial Tokens},
  journal   = {Arxiv},
  year      = {2025},
}

📄 許可證

本項目採用MIT許可證。