Genex World Initializer

🚀 GenEx-World-Initializer 🧭🌍

GenEx World Initializer 是一個基於 FluxFillPipeline 構建的全景生成管道。它利用視覺條件修復技術，將 單視圖圖像 轉換為 360° 全景圖像。

• 🖼️ 輸入：一張圖像（任意尺寸，將被中心裁剪為正方形）
• 🧠 提示詞：用於引導全景生成的可選文本
• 🎯 輸出：2048 × 1024 等距柱狀投影圖像
• 🧩 掩碼：使用固定的全景掩碼

🚀 快速開始

📦 安裝指南

運行該項目需要安裝以下依賴：

diffusers>=0.33.1
transformers
numpy
pillow
sentencepiece 

💻 使用示例

基礎用法

from diffusers import DiffusionPipeline
from PIL import Image
import torch

pipe = DiffusionPipeline.from_pretrained(
    "genex-world/World-Initializer-image-to-panorama",
    custom_pipeline="genex_world_initializer_pipeline",  
    torch_dtype=torch.bfloat16,
    trust_remote_code=True
).to("cuda")

# Load your image (any resolution)
image = Image.open("example_input.jpg")

# Run inference
front_view, output = pipe(image=image)
output.images[0]

🏁 掩碼

以下掩碼用於訓練修復擴散模型，並在推理時自動使用。

📄 許可證

本項目採用 cc-by-4.0 許可證。

✨ 引用信息

@misc{lu2025genexgeneratingexplorableworld,
      title={GenEx: Generating an Explorable World}, 
      author={Taiming Lu and Tianmin Shu and Junfei Xiao and Luoxin Ye and Jiahao Wang and Cheng Peng and Chen Wei and Daniel Khashabi and Rama Chellappa and Alan Yuille and Jieneng Chen},
      year={2025},
      eprint={2412.09624},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2412.09624}, 
}