Real3d

🚀 Real3D

Real3D是一個用於圖像到3D轉換的模型，它基於Transformer架構，通過無監督自訓練和自動數據篩選在野外圖像集上進行擴展，能有效實現2D到3D的映射。

🚀 快速開始

本部分暫未提供相關內容。

✨ 主要特性

• 使用 TripoSR 提供的模型架構，這是一個基於 LRM 構建的用於2D到3D映射的Transformer模型。
• 通過啟用無監督自訓練和自動數據篩選，在野外圖像集上進一步擴展。

📚 詳細文檔

模型詳情

• 模型描述：我們採用 TripoSR 提供的模型架構，這是一個基於 LRM 構建的用於2D到3D映射的Transformer模型。我們通過啟用無監督自訓練和自動數據篩選，在野外圖像集上進一步擴展了該模型。
  • 開發者：Hanwen Jiang
  • 許可證：MIT
  • 硬件要求：我們在1個節點（8個GPU）上訓練Real3D，等效批量大小為80，訓練時長為5 - 6天。
• 模型來源：
  • 論文：https://arxiv.org/abs/2406.08479
  • 項目：https://hwjiang1510.github.io/Real3D/
  • 訓練和評估代碼：https://github.com/hwjiang1510/Real3D
• 訓練數據：Real3D在合成數據（Objaverse）和野外圖像集上進行聯合訓練。前者可防止訓練發散，後者則從更廣泛的真實圖像分佈中引入新知識。我們使用來自 Zero-1-to-3 和 GObjaverse 的Objaverse渲染圖。野外圖像來自 ImageNet、OpenImages 等。

不當使用、惡意使用和超範圍使用

該模型不得用於故意創建或傳播人們可預見會感到不安、苦惱或冒犯的3D模型；或傳播歷史或當前刻板印象的內容。

📄 許可證

本項目採用MIT許可證。