Hunyuan3d 2

🚀 Hunyuan3D-2

「誰もが3Dアセットを作成し、操作する想像力を現実にする。」

このリポジトリには、論文 Hunyuan3D 2.0: Scaling Diffusion Models for High Resolution Textured 3D Assets Generation のモデルが含まれています。コードや使用方法の詳細については、Githubリポジトリ を参照してください。

“ Living out everyone’s imagination on creating and manipulating 3D assets.”

🚀 クイックスタート

🔥 ニュース

• 2025年1月21日: 💬 Hunyuan3D 2.0 をリリースしました。是非試してみてください！

概要

我々は、高解像度のテクスチャ付き3Dアセットを生成するための高度な大規模3D合成システムであるHunyuan3D 2.0を提案します。このシステムは、2つの基本コンポーネントで構成されています。大規模形状生成モデルであるHunyuan3D - DiTと、大規模テクスチャ合成モデルであるHunyuan3D - Paintです。形状生成モデルは、拡張可能なフローベースの拡散トランスフォーマーに基づいて構築されており、与えられた条件画像に適切に一致するジオメトリを作成することを目的としており、下流のアプリケーションに堅固な基盤を提供します。テクスチャ合成モデルは、強力なジオメトリと拡散の事前知識を活用して、生成されたメッシュまたは手作りのメッシュに対して、高解像度で鮮やかなテクスチャマップを生成します。さらに、我々はHunyuan3D - Studioという、汎用的で使いやすい制作プラットフォームを構築しました。これにより、プロユーザーとアマチュアユーザーの両方が、メッシュを効率的に操作し、アニメーション化することができます。我々は、システマティックにモデルを評価し、Hunyuan3D 2.0が、ジオメトリの詳細、条件の一致、テクスチャの品質などの点で、以前の最先端モデル（オープンソースモデルとクローズドソースモデルを含む）を上回ることを示しました。

☯️ Hunyuan3D 2.0

アーキテクチャ

Hunyuan3D 2.0は、2段階の生成パイプラインを備えています。まず裸のメッシュを作成し、次にそのメッシュに対するテクスチャマップを合成します。この戦略は、形状とテクスチャの生成の難しさを分離するのに有効であり、生成されたメッシュまたは手作りのメッシュにテクスチャを適用する際の柔軟性も提供します。

性能

我々は、Hunyuan3D 2.0を他のオープンソースおよびクローズドソースの3D生成方法と比較評価しました。数値結果は、Hunyuan3D 2.0が、生成されたテクスチャ付き3Dアセットの品質と条件追従能力において、すべてのベースラインを上回っていることを示しています。

Hunyuan3D 2.0の生成結果:

事前学習済みモデル

📦 インストール

必要なパッケージのインストール

まず、公式サイト を通じてPytorchをインストールしてください。その後、以下のコマンドで他の必要なパッケージをインストールします。

pip install -r requirements.txt
# テクスチャ用
cd hy3dgen/texgen/custom_rasterizer
python3 setup.py install
cd ../../..
cd hy3dgen/texgen/differentiable_renderer
bash compile_mesh_painter.sh OR python3 setup.py install (Windowsの場合)

💻 使用例

基本的な使用法

APIの使用

我々は、形状生成モデルであるHunyuan3D - DiTとテクスチャ合成モデルであるHunyuan3D - Paintを使用するためのdiffusersライクなAPIを設計しました。

Hunyuan3D - DiT を使用するには、以下のようにします。

from hy3dgen.shapegen import Hunyuan3DDiTFlowMatchingPipeline

pipeline = Hunyuan3DDiTFlowMatchingPipeline.from_pretrained('tencent/Hunyuan3D-2')
mesh = pipeline(image='assets/demo.png')[0]

出力されるメッシュは trimeshオブジェクト であり、glb/obj（または他の形式）のファイルに保存することができます。

Hunyuan3D - Paint を使用するには、以下のようにします。

from hy3dgen.texgen import Hunyuan3DPaintPipeline
from hy3dgen.shapegen import Hunyuan3DDiTFlowMatchingPipeline

# まずメッシュを生成します
pipeline = Hunyuan3DDiTFlowMatchingPipeline.from_pretrained('tencent/Hunyuan3D-2')
mesh = pipeline(image='assets/demo.png')[0]

pipeline = Hunyuan3DPaintPipeline.from_pretrained('tencent/Hunyuan3D-2')
mesh = pipeline(mesh, image='assets/demo.png')

テキストから3Dへの変換 や 手作りのメッシュに対するテクスチャ生成 などの高度な使用方法については、minimal_demo.py を参照してください。

高度な使用法

Gradioアプリの使用

以下のコマンドを実行することで、自分のコンピュータ上で Gradio アプリを起動することができます。

pip3 install gradio==3.39.0
python3 gradio_app.py

自分でアプリを起動したくない場合は、Hunyuan3D を訪れてすぐに使うことができます。

📚 ドキュメント

オープンソース計画

• [x] 推論コード
• [x] モデルチェックポイント
• [x] 技術レポート
• [ ] ComfyUI
• [ ] TensorRTバージョン

🔗 BibTeX

このリポジトリが役に立った場合は、以下のようにレポートを引用してください。

@misc{hunyuan3d22025tencent,
    title={Hunyuan3D 2.0: Scaling Diffusion Models for High Resolution Textured 3D Assets Generation},
    author={Tencent Hunyuan3D Team},
    year={2025},
    eprint={2501.12202},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}

@misc{yang2024tencent,
    title={Tencent Hunyuan3D-1.0: A Unified Framework for Text-to-3D and Image-to-3D Generation},
    author={Tencent Hunyuan3D Team},
    year={2024},
    eprint={2411.02293},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}

コミュニティリソース

コミュニティメンバーの貢献に感謝します。ここでは、Hunyuan3D 2.0の素晴らしい拡張機能を紹介します。

• ComfyUI-Hunyuan3DWrapper
• Hunyuan3D-2-for-windows
• 📦 Windowsで実行するためのバンドル | 整合包

謝辞

我々は、DINOv2、Stable Diffusion、FLUX、diffusers および HuggingFace リポジトリの貢献者に感謝します。彼らのオープンな研究と探求により、このプロジェクトが可能になりました。

スター履歴

📄 ライセンス

このプロジェクトは、tencent-hunyuan-community ライセンスの下で公開されています。