World Initializer Image To Panorama

🚀 GenEx-World-Initializer 🧭🌍

GenEx World Initializer は、FluxFillPipeline をベースに構築されたパノラマ生成パイプラインです。 ビジョン条件付きのインペインティングを使用して、単一の視野画像を360°のパノラマ画像に変換します。

• 🖼️ 入力: 1枚の画像（任意のサイズ、中央を正方形にクロップされます）
• 🧠 プロンプト: パノラマ生成をガイドするオプションのテキスト
• 🎯 出力: 2048 × 1024の等距円筒投影画像
• 🧩 マスク: 固定されたパノラママスクを使用します

🚀 クイックスタート

GenEx World Initializerを使用することで、単一の視野画像から360°のパノラマ画像を生成することができます。以下に使い方を説明します。

💻 使用例

基本的な使用法

from diffusers import DiffusionPipeline
from PIL import Image
import torch

pipe = DiffusionPipeline.from_pretrained(
    "genex-world/World-Initializer-image-to-panorama",
    custom_pipeline="genex_world_initializer_pipeline",  
    torch_dtype=torch.bfloat16,
    trust_remote_code=True
).to("cuda")

# Load your image (any resolution)
image = Image.open("example_input.jpg")

# Run inference
front_view, output = pipe(image=image)
output.images[0]

🏁 マスク

以下のマスクは、インペインティングディフューザーの学習に使用され、推論時に自動的に適用されます。

📦 インストール

このパイプラインを使用するには、以下のライブラリが必要です。

diffusers>=0.33.1
transformers
numpy
pillow
sentencepiece 

✨ 主な機能

• 単一の視野画像から360°のパノラマ画像を生成できます。
• オプションのテキストプロンプトでパノラマ生成をガイドできます。
• 固定されたパノラママスクを使用して、一貫した結果を得ることができます。

📄 ライセンス

このプロジェクトは、Creative Commons Attribution 4.0 International License の下でライセンスされています。

✨ BibTex

@misc{lu2025genexgeneratingexplorableworld,
      title={GenEx: Generating an Explorable World}, 
      author={Taiming Lu and Tianmin Shu and Junfei Xiao and Luoxin Ye and Jiahao Wang and Cheng Peng and Chen Wei and Daniel Khashabi and Rama Chellappa and Alan Yuille and Jieneng Chen},
      year={2025},
      eprint={2412.09624},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2412.09624}, 
}