Hunyuan

🚀 Hunyuan3D-2

「誰もが3Dアセットの作成と操作に関する想像力を現実にする。」

このリポジトリには、論文 Hunyuan3D 2.0: Scaling Diffusion Models for High Resolution Textured 3D Assets Generation のモデルが含まれています。コードや使用方法の詳細については、Githubリポジトリ を参照してください。

“ Living out everyone’s imagination on creating and manipulating 3D assets.”

🚀 クイックスタート

このセクションでは、Hunyuan3D 2.0 をコードまたはGradioアプリを介して使用するための手順を説明します。

✨ 主な機能

Hunyuan3D 2.0は、高解像度のテクスチャ付き3Dアセットを生成するための高度な大規模3D合成システムです。このシステムには、大規模形状生成モデルであるHunyuan3D-DiTと、大規模テクスチャ合成モデルであるHunyuan3D-Paintの2つの基盤コンポーネントが含まれています。また、Hunyuan3D-Studioという使いやすい制作プラットフォームも提供しており、3Dアセットの再作成プロセスを簡素化しています。

📦 インストール

必要なライブラリのインストール

まず、公式サイト を通じてPytorchをインストールしてください。その後、以下のコマンドを実行して他の必要なライブラリをインストールします。

pip install -r requirements.txt
# テクスチャ用
cd hy3dgen/texgen/custom_rasterizer
python3 setup.py install
cd ../../..
cd hy3dgen/texgen/differentiable_renderer
bash compile_mesh_painter.sh OR python3 setup.py install (Windowsの場合)

💻 使用例

基本的な使用法

以下のコードは、Hunyuan3D-DiTを使用して形状を生成する基本的な例です。

from hy3dgen.shapegen import Hunyuan3DDiTFlowMatchingPipeline

pipeline = Hunyuan3DDiTFlowMatchingPipeline.from_pretrained('tencent/Hunyuan3D-2')
mesh = pipeline(image='assets/demo.png')[0]

出力されるメッシュは trimeshオブジェクト であり、glb/obj（または他の形式）のファイルに保存することができます。

高度な使用法

Hunyuan3D-Paintを使用してテクスチャを合成する例を以下に示します。

from hy3dgen.texgen import Hunyuan3DPaintPipeline
from hy3dgen.shapegen import Hunyuan3DDiTFlowMatchingPipeline

# まずメッシュを生成します
pipeline = Hunyuan3DDiTFlowMatchingPipeline.from_pretrained('tencent/Hunyuan3D-2')
mesh = pipeline(image='assets/demo.png')[0]

pipeline = Hunyuan3DPaintPipeline.from_pretrained('tencent/Hunyuan3D-2')
mesh = pipeline(mesh, image='assets/demo.png')

より高度な使用法（テキストから3Dへの変換や手作りメッシュのテクスチャ生成など）については、minimal_demo.py を参照してください。

Gradioアプリの使用

以下のコマンドを実行することで、自分のコンピュータ上で Gradio アプリをホストすることができます。

pip3 install gradio==3.39.0
python3 gradio_app.py

自分でホストしたくない場合は、Hunyuan3D を訪れてすぐに使用することができます。

📚 詳細ドキュメント

Hunyuan3D 2.0のアーキテクチャ

Hunyuan3D 2.0は、2段階の生成パイプラインを備えています。まずベアメッシュを作成し、次にそのメッシュにテクスチャマップを合成します。この戦略は、形状とテクスチャの生成の難しさを分離するのに有効であり、生成されたメッシュまたは手作りのメッシュにテクスチャを適用する際の柔軟性も提供します。

パフォーマンス評価

Hunyuan3D 2.0を他のオープンソースおよびクローズソースの3D生成方法と比較評価しました。数値結果は、Hunyuan3D 2.0が、幾何学的詳細、条件の整合性、テクスチャ品質などの面で、以前の最先端モデル（オープンソースモデルとクローズソースモデルの両方を含む）を上回っていることを示しています。

事前学習済みモデル

🔧 技術詳細

概要

Hunyuan3D 2.0は、高解像度のテクスチャ付き3Dアセットを生成するための大規模3D合成システムです。このシステムは、形状生成モデルであるHunyuan3D-DiTと、テクスチャ合成モデルであるHunyuan3D-Paintの2つの主要なコンポーネントで構成されています。

Hunyuan3D-DiT

形状生成モデルであるHunyuan3D-DiTは、拡張可能なフローベースの拡散トランスフォーマーに基づいて構築されています。このモデルは、与えられた条件画像に適切に整合する幾何学形状を作成することを目的としており、下流のアプリケーションに堅固な基盤を提供します。

Hunyuan3D-Paint

テクスチャ合成モデルであるHunyuan3D-Paintは、強力な幾何学的および拡散事前知識を活用して、生成されたまたは手作りのメッシュに対して高解像度で鮮やかなテクスチャマップを生成します。

Hunyuan3D-Studio

Hunyuan3D-Studioは、3Dアセットの再作成プロセスを簡素化する、使いやすい制作プラットフォームです。このプラットフォームは、専門家やアマチュアユーザーが効率的にメッシュを操作し、アニメーション化することを可能にします。

📄 ライセンス

このプロジェクトは、tencent-hunyuan-community ライセンスの下で提供されています。

🔗 BibTeX

このリポジトリが役に立った場合は、以下のように引用してください。

@misc{hunyuan3d22025tencent,
    title={Hunyuan3D 2.0: Scaling Diffusion Models for High Resolution Textured 3D Assets Generation},
    author={Tencent Hunyuan3D Team},
    year={2025},
    eprint={2501.12202},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}

@misc{yang2024tencent,
    title={Tencent Hunyuan3D-1.0: A Unified Framework for Text-to-3D and Image-to-3D Generation},
    author={Tencent Hunyuan3D Team},
    year={2024},
    eprint={2411.02293},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}

コミュニティリソース

コミュニティメンバーの貢献に感謝します。ここでは、Hunyuan3D 2.0の素晴らしい拡張機能を紹介します。

• ComfyUI-Hunyuan3DWrapper
• Hunyuan3D-2-for-windows
• 📦 Windowsで実行するためのバンドル | 整合包

謝辞

DINOv2、Stable Diffusion、FLUX、diffusers および HuggingFace リポジトリの貢献者の皆様に感謝いたします。

スター履歴