World Initializer Image To Panorama

🚀 GenEx-World-Initializer 🧭🌍

GenEx World Initializer は、FluxFillPipeline をベースに構築されたパノラマ生成パイプラインです。

このパイプラインは、ビジョン条件付きのインペインティングを使用して、単一のビュー画像を360°のパノラマ画像に変換します。

• 🖼️ 入力: 1枚の画像（任意のサイズ、中央を正方形にクロップ）
• 🧠 プロンプト: パノラマ生成をガイドするオプションのテキスト
• 🎯 出力: 2048 × 1024の等角円筒投影画像
• 🧩 マスク: 固定のパノラママスクを使用

🚀 クイックスタート

📦 インストール

必要なライブラリは以下の通りです。

diffusers>=0.33.1
transformers
numpy
pillow
sentencepiece 

💻 使用例

基本的な使用法

from diffusers import DiffusionPipeline
from PIL import Image
import torch

pipe = DiffusionPipeline.from_pretrained(
    "genex-world/World-Initializer-image-to-panorama",
    custom_pipeline="genex_world_initializer_pipeline",  
    torch_dtype=torch.bfloat16,
    trust_remote_code=True
).to("cuda")

# Load your image (any resolution)
image = Image.open("example_input.jpg")

# Run inference
front_view, output = pipe(image=image)
output.images[0]

🏁 マスク

以下のマスクは、インペインティングディフューザーの学習に使用され、推論時に自動的に使用されます。

✨ 主な機能

• パイプラインタグ: 画像から画像への変換
• データセット: TaiMingLu/GenEx-DB-Panorama-World
• ベースモデル: black-forest-labs/FLUX.1-Fill-dev

✨ BibTex

@misc{lu2025genexgeneratingexplorableworld,
      title={GenEx: Generating an Explorable World}, 
      author={Taiming Lu and Tianmin Shu and Junfei Xiao and Luoxin Ye and Jiahao Wang and Cheng Peng and Chen Wei and Daniel Khashabi and Rama Chellappa and Alan Yuille and Jieneng Chen},
      year={2025},
      eprint={2412.09624},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2412.09624}, 
}

📄 ライセンス

このプロジェクトは、CC BY 4.0ライセンスの下で公開されています。