Hunyuan3d 2v

🚀 Hunyuan3D-2

このプロジェクトは、高解像度のテクスチャ付き3Dアセットを生成するための先進的な大規模3D合成システムです。2つの基盤モデルとユーザーフレンドリーな制作プラットフォームを備え、既存のモデルを上回る性能を発揮します。

“ Living out everyone’s imagination on creating and manipulating 3D assets.”

このリポジトリには、論文 Hunyuan3D 2.0: Scaling Diffusion Models for High Resolution Textured 3D Assets Generation のモデルが含まれています。コードや使用方法の詳細については、Githubリポジトリ を参照してください。

🚀 クイックスタート

必要なライブラリのインストール

まず、公式サイト を通じてPytorchをインストールしてください。その後、以下のコマンドで他の必要なライブラリをインストールします。

pip install -r requirements.txt
# テクスチャ用
cd hy3dgen/texgen/custom_rasterizer
python3 setup.py install
cd ../../..
cd hy3dgen/texgen/differentiable_renderer
bash compile_mesh_painter.sh OR python3 setup.py install (Windowsの場合)

APIの使用方法

形状生成モデルである Hunyuan3D-DiT とテクスチャ合成モデルである Hunyuan3D-Paint を使用するためのdiffusersライクなAPIを設計しています。

Hunyuan3D-DiT を使用するには、以下のようにします。

from hy3dgen.shapegen import Hunyuan3DDiTFlowMatchingPipeline

pipeline = Hunyuan3DDiTFlowMatchingPipeline.from_pretrained('tencent/Hunyuan3D-2')
mesh = pipeline(image='assets/demo.png')[0]

出力されるメッシュは trimeshオブジェクト であり、glb/obj（または他の形式）のファイルに保存することができます。

Hunyuan3D-Paint を使用するには、以下のようにします。

from hy3dgen.texgen import Hunyuan3DPaintPipeline
from hy3dgen.shapegen import Hunyuan3DDiTFlowMatchingPipeline

# まずメッシュを生成します
pipeline = Hunyuan3DDiTFlowMatchingPipeline.from_pretrained('tencent/Hunyuan3D-2')
mesh = pipeline(image='assets/demo.png')[0]

pipeline = Hunyuan3DPaintPipeline.from_pretrained('tencent/Hunyuan3D-2')
mesh = pipeline(mesh, image='assets/demo.png')

テキストから3Dへの変換 や 手作りメッシュのテクスチャ生成 などの高度な使用方法については、minimal_demo.py を参照してください。

Gradioアプリの使用

あなた自身のコンピューターで Gradio アプリを起動することもできます。

pip3 install gradio==3.39.0
python3 gradio_app.py

自分でアプリを起動したくない場合は、Hunyuan3D を訪れてすぐに使用することができます。

✨ 主な機能

概要

Hunyuan3D 2.0は、高解像度のテクスチャ付き3Dアセットを生成するための高度な大規模3D合成システムです。このシステムには2つの基盤コンポーネントが含まれています。

• 大規模形状生成モデル - Hunyuan3D-DiT
• 大規模テクスチャ合成モデル - Hunyuan3D-Paint

形状生成モデルは、拡張可能なフローベースの拡散トランスフォーマーに基づいて構築され、与えられた条件画像に適切に一致するジオメトリを作成することを目的としています。テクスチャ合成モデルは、強力なジオメトリと拡散の事前知識を活用して、生成されたまたは手作りのメッシュに対して高解像度で鮮やかなテクスチャマップを生成します。

さらに、Hunyuan3D-Studioという汎用的でユーザーフレンドリーな制作プラットフォームを構築しています。これにより、専門家やアマチュアユーザーが効率的にメッシュを操作し、アニメーション化することができます。

アーキテクチャ

Hunyuan3D 2.0は、2段階の生成パイプラインを備えています。まず裸のメッシュを作成し、次にそのメッシュに対してテクスチャマップを合成します。この戦略は、形状とテクスチャの生成の難しさを分離するのに有効であり、生成されたまたは手作りのメッシュにテクスチャを適用する際の柔軟性を提供します。

性能

Hunyuan3D 2.0を他のオープンソースおよびクローズドソースの3D生成方法と比較評価しました。数値結果は、Hunyuan3D 2.0が生成されたテクスチャ付き3Dアセットの品質と条件追従能力においてすべてのベースラインを上回っていることを示しています。

Hunyuan3D 2.0の生成結果:

事前学習済みモデル

📦 インストール

必要なライブラリのインストール

まず、公式サイト を通じてPytorchをインストールしてください。その後、以下のコマンドで他の必要なライブラリをインストールします。

pip install -r requirements.txt
# テクスチャ用
cd hy3dgen/texgen/custom_rasterizer
python3 setup.py install
cd ../../..
cd hy3dgen/texgen/differentiable_renderer
bash compile_mesh_painter.sh OR python3 setup.py install (Windowsの場合)

💻 使用例

基本的な使用法

Hunyuan3D-DiT を使用するには、以下のようにします。

from hy3dgen.shapegen import Hunyuan3DDiTFlowMatchingPipeline

pipeline = Hunyuan3DDiTFlowMatchingPipeline.from_pretrained('tencent/Hunyuan3D-2')
mesh = pipeline(image='assets/demo.png')[0]

Hunyuan3D-Paint を使用するには、以下のようにします。

from hy3dgen.texgen import Hunyuan3DPaintPipeline
from hy3dgen.shapegen import Hunyuan3DDiTFlowMatchingPipeline

# まずメッシュを生成します
pipeline = Hunyuan3DDiTFlowMatchingPipeline.from_pretrained('tencent/Hunyuan3D-2')
mesh = pipeline(image='assets/demo.png')[0]

pipeline = Hunyuan3DPaintPipeline.from_pretrained('tencent/Hunyuan3D-2')
mesh = pipeline(mesh, image='assets/demo.png')

高度な使用法

テキストから3Dへの変換 や 手作りメッシュのテクスチャ生成 などの高度な使用方法については、minimal_demo.py を参照してください。

📚 ドキュメント

オープンソース計画

• [x] 推論コード
• [x] モデルチェックポイント
• [x] 技術レポート
• [ ] ComfyUI
• [ ] TensorRTバージョン

BibTeX引用

このリポジトリが役に立った場合は、以下のようにレポートを引用してください。

@misc{hunyuan3d22025tencent,
    title={Hunyuan3D 2.0: Scaling Diffusion Models for High Resolution Textured 3D Assets Generation},
    author={Tencent Hunyuan3D Team},
    year={2025},
    eprint={2501.12202},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}

@misc{yang2024tencent,
    title={Tencent Hunyuan3D-1.0: A Unified Framework for Text-to-3D and Image-to-3D Generation},
    author={Tencent Hunyuan3D Team},
    year={2024},
    eprint={2411.02293},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}

コミュニティリソース

コミュニティメンバーの貢献に感謝します。ここでは、Hunyuan3D 2.0の素晴らしい拡張機能を紹介します。

• ComfyUI-Hunyuan3DWrapper
• Hunyuan3D-2-for-windows
• 📦 A bundle for running on Windows | 整合包

謝辞

DINOv2、Stable Diffusion、FLUX、diffusers および HuggingFace リポジトリの貢献者の皆様に感謝します。彼らのオープンな研究と探求により、このプロジェクトが可能になりました。

スター履歴

📄 ライセンス

このプロジェクトは tencent-hunyuan-community ライセンスの下で提供されています。