Genex World Explorer

🚀 GenEx-World-Explorer 🌍

GenEx World Explorer は、Stable Video Diffusion (SVD) をベースに構築されたビデオ生成パイプラインです。キーフレームを入力として、時間的に一貫したビデオを生成します。このエクスプローラーバージョンは、カスタムの UNetSpatioTemporalConditionModel を用いて SVD を拡張しています。

ディフューザーは、パノラマ入力画像の前方移動パスを生成し、与えられたシーンを探索します。

🚀 クイックスタート

GenEx World Explorer を使えば、キーフレームから時間的に一貫したビデオを生成できます。以下の手順で始めましょう。

📦 インストール

このパイプラインを使用するには、必要なライブラリをインストールする必要があります。以下のコマンドを実行してください。

diffusers>=0.33.1
transformers
numpy
pillow

💻 使用例

基本的な使用法

from diffusers import UNetSpatioTemporalConditionModel, StableVideoDiffusionPipeline
import torch
from PIL import Image

model_id = 'genex-world/GenEx-World-Explorer'

# Load the custom UNet
unet = UNetSpatioTemporalConditionModel.from_pretrained(
    model_id,
    subfolder='unet',
    torch_dtype=torch.float16,
    low_cpu_mem_usage=True,
)

# Load the full pipeline with custom UNet
pipe = StableVideoDiffusionPipeline.from_pretrained(
    model_id,
    unet=unet,
    low_cpu_mem_usage=True,
    torch_dtype=torch.float16,
    local_files_only=True,
).to('cuda')

# Explore the world!
image = Image.open('example.png').resize((1024, 576), Image.BICUBIC).convert('RGB')

generator = torch.manual_seed(-1)
with torch.inference_mode():
    frames = self.pipe(image,
                num_frames=25,
                width=1024,
                height=576,
                decode_chunk_size=8, generator=generator, motion_bucket_id=127, fps=7, num_inference_steps=30, noise_aug_strength=0.02).frames[0]

📚 ドキュメント

モデル情報

引用情報

@misc{lu2025genexgeneratingexplorableworld,
      title={GenEx: Generating an Explorable World}, 
      author={Taiming Lu and Tianmin Shu and Junfei Xiao and Luoxin Ye and Jiahao Wang and Cheng Peng and Chen Wei and Daniel Khashabi and Rama Chellappa and Alan Yuille and Jieneng Chen},
      year={2025},
      eprint={2412.09624},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2412.09624}, 
}

📄 ライセンス

このプロジェクトは cc-by-4.0 ライセンスの下で公開されています。