Hunyuan3d 2 Test

🚀 Hunyuan3D-2

Hunyuan3D-2は、高解像度のテクスチャ付き3Dアセットを生成するための高度な大規模3D合成システムです。画像から3D、テキストから3Dの変換をサポートし、既存のモデルを上回る性能を発揮します。

「誰もが3Dアセットの作成と操作に関する想像力を現実にする。」

このリポジトリには、論文 Hunyuan3D 2.0: Scaling Diffusion Models for High Resolution Textured 3D Assets Generation のモデルが含まれています。コードや使用方法の詳細については、Githubリポジトリ を参照してください。

✨ 主な機能

ニュース

• 2025年1月21日: Hunyuan3D 2.0 をリリースしました。是非試してみてください！

概要

我々は、高解像度のテクスチャ付き3Dアセットを生成するための高度な大規模3D合成システムであるHunyuan3D 2.0を提案します。このシステムは、2つの基盤コンポーネントで構成されています。大規模形状生成モデルであるHunyuan3D-DiTと、大規模テクスチャ合成モデルであるHunyuan3D-Paintです。形状生成モデルは、拡張可能なフローベースの拡散トランスフォーマーに基づいて構築されており、与えられた条件画像に適切に一致するジオメトリを作成することを目的としており、下流のアプリケーションのための強固な基盤を築きます。テクスチャ合成モデルは、強力なジオメトリと拡散の事前知識を活用して、生成されたメッシュまたは手作りのメッシュに対して高解像度で鮮やかなテクスチャマップを生成します。さらに、我々はHunyuan3D-Studio - 3Dアセットの再作成プロセスを簡素化する多用途で使いやすい制作プラットフォームを構築しました。これにより、専門家やアマチュアユーザーが効率的にメッシュを操作し、アニメーション化することができます。我々はシステマティックにモデルを評価し、Hunyuan3D 2.0が、ジオメトリの詳細、条件の一致、テクスチャの品質などにおいて、以前の最先端モデル（オープンソースモデルとクローズドソースモデルを含む）を上回っていることを示しました。

Hunyuan3D 2.0の詳細

アーキテクチャ

Hunyuan3D 2.0は、2段階の生成パイプラインを持っています。まず、ベアメッシュを作成し、次にそのメッシュに対するテクスチャマップを合成します。この戦略は、形状とテクスチャの生成の難しさを分離するのに効果的であり、生成されたメッシュまたは手作りのメッシュにテクスチャを適用する柔軟性も提供します。

性能

我々は、Hunyuan3D 2.0を他のオープンソースおよびクローズドソースの3D生成方法と比較して評価しました。数値結果は、Hunyuan3D 2.0が、生成されたテクスチャ付き3Dアセットの品質と条件追従能力においてすべてのベースラインを上回っていることを示しています。

Hunyuan3D 2.0の生成結果:

事前学習済みモデル

📦 インストール

必要なパッケージのインストール

公式サイト を通じてPytorchをインストールしてください。その後、以下のコマンドで他の必要なパッケージをインストールします。

pip install -r requirements.txt
# テクスチャ用
cd hy3dgen/texgen/custom_rasterizer
python3 setup.py install
cd ../../..
cd hy3dgen/texgen/differentiable_renderer
bash compile_mesh_painter.sh OR python3 setup.py install (Windowsの場合)

💻 使用例

基本的な使用法

我々は、形状生成モデルであるHunyuan3D-DiTとテクスチャ合成モデルであるHunyuan3D-Paintを使用するためのdiffusersのようなAPIを設計しました。

Hunyuan3D-DiT を使用するには、以下のようにします。

from hy3dgen.shapegen import Hunyuan3DDiTFlowMatchingPipeline

pipeline = Hunyuan3DDiTFlowMatchingPipeline.from_pretrained('tencent/Hunyuan3D-2')
mesh = pipeline(image='assets/demo.png')[0]

出力されるメッシュは trimeshオブジェクト であり、glb/obj（または他の形式）のファイルに保存することができます。

Hunyuan3D-Paint を使用するには、以下のようにします。

from hy3dgen.texgen import Hunyuan3DPaintPipeline
from hy3dgen.shapegen import Hunyuan3DDiTFlowMatchingPipeline

# まずメッシュを生成します
pipeline = Hunyuan3DDiTFlowMatchingPipeline.from_pretrained('tencent/Hunyuan3D-2')
mesh = pipeline(image='assets/demo.png')[0]

pipeline = Hunyuan3DPaintPipeline.from_pretrained('tencent/Hunyuan3D-2')
mesh = pipeline(mesh, image='assets/demo.png')

テキストから3D や 手作りメッシュのテクスチャ生成 などの高度な使用方法については、minimal_demo.py を参照してください。

Gradioアプリの使用

以下のコマンドを使用して、自分のコンピュータ上で Gradio アプリをホストすることもできます。

pip3 install gradio==3.39.0
python3 gradio_app.py

自分でホストしたくない場合は、Hunyuan3D を訪れてすぐに使用することができます。

📚 ドキュメント

オープンソース計画

• [x] 推論コード
• [x] モデルチェックポイント
• [x] 技術レポート
• [ ] ComfyUI
• [ ] TensorRTバージョン

BibTeX引用

このリポジトリが役に立った場合は、以下のように引用してください。

@misc{hunyuan3d22025tencent,
    title={Hunyuan3D 2.0: Scaling Diffusion Models for High Resolution Textured 3D Assets Generation},
    author={Tencent Hunyuan3D Team},
    year={2025},
    eprint={2501.12202},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}

@misc{yang2024tencent,
    title={Tencent Hunyuan3D-1.0: A Unified Framework for Text-to-3D and Image-to-3D Generation},
    author={Tencent Hunyuan3D Team},
    year={2024},
    eprint={2411.02293},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}

コミュニティリソース

コミュニティメンバーの貢献に感謝します。ここでは、Hunyuan3D 2.0の素晴らしい拡張機能を紹介します。

• ComfyUI-Hunyuan3DWrapper
• Hunyuan3D-2-for-windows
• Windowsで実行するためのバンドル | ポータブル版

謝辞

我々は、DINOv2、Stable Diffusion、FLUX、diffusers および HuggingFace リポジトリの貢献者に感謝します。彼らのオープンな研究と探求により、このプロジェクトが可能になりました。

スター履歴

📄 ライセンス

このプロジェクトは tencent-hunyuan-community ライセンスの下で公開されています。