Trackdiffusion SVD Stage2

🚀 TrackDiffusion模型卡片

TrackDiffusion是一種以軌跡片段為條件的擴散模型，能夠基於此生成視頻。它為視頻合成中的複雜動態提供了細粒度控制，解決了物體在視頻中出現、消失、尺度變化以及幀間一致性等問題。

🚀 快速開始

請從這個鏈接(https://huggingface.co/pengxiang/trackdiffusion_ytvis)下載模型權重。

✨ 主要特性

TrackDiffusion是一種新穎的視頻生成框架，通過在生成過程中以物體軌跡為條件，實現了對視頻合成中複雜動態的細粒度控制。這種方法允許精確操縱物體軌跡和交互，解決了管理物體外觀、消失、尺度變化以及確保幀間一致性的挑戰。

📦 安裝指南

暫未提供相關安裝步驟。

💻 使用示例

基礎用法

我們提供了整個Unet的權重，你可以在Diffusers管道中替換它，例如：

pretrained_model_path = "stabilityai/stable-video-diffusion-img2vid"
unet = UNetSpatioTemporalConditionModel.from_pretrained("/path/to/unet", torch_dtype=torch.float16,)
pipe = StableVideoDiffusionPipeline.from_pretrained(
    pretrained_model_path, 
    unet=unet,
    torch_dtype=torch.float16,
    variant="fp16",
    low_cpu_mem_usage=True)

📚 詳細文檔

模型描述

TrackDiffusion是一種新穎的視頻生成框架，通過在生成過程中以物體軌跡為條件，實現了對視頻合成中複雜動態的細粒度控制。這種方法允許精確操縱物體軌跡和交互，解決了管理物體外觀、消失、尺度變化以及確保幀間一致性的挑戰。

用途

直接使用

我們提供了整個Unet的權重，你可以在Diffusers管道中替換它，示例代碼如下：

pretrained_model_path = "stabilityai/stable-video-diffusion-img2vid"
unet = UNetSpatioTemporalConditionModel.from_pretrained("/path/to/unet", torch_dtype=torch.float16,)
pipe = StableVideoDiffusionPipeline.from_pretrained(
    pretrained_model_path, 
    unet=unet,
    torch_dtype=torch.float16,
    variant="fp16",
    low_cpu_mem_usage=True)

📄 許可證

本項目使用其他許可證，詳情請見LICENSE。