Trackdiffusion SVD Stage2

🚀 TrackDiffusionモデルカード

TrackDiffusionは、トラックレットを条件として取り込み、そこからビデオを生成する拡散モデルです。このモデルにより、ビデオ合成における複雑なダイナミクスを細かく制御することが可能です。

🚀 クイックスタート

このリンク(https://huggingface.co/pengxiang/trackdiffusion_ytvis) から重みをダウンロードしてください。

✨ 主な機能

TrackDiffusionは、オブジェクトの軌跡を生成プロセスの条件とすることで、ビデオ合成における複雑なダイナミクスを細かく制御できる新しいビデオ生成フレームワークです。このアプローチにより、オブジェクトの軌跡と相互作用を正確に操作でき、外観の管理、消失、スケールの変化、およびフレーム間の一貫性の確保といった課題を解決します。

📦 インストール

このモデルでは、完全なU-Netの重みを提供しています。そのため、diffusersパイプライン内で置き換えることができます。例えば以下のように使用できます。

💻 使用例

基本的な使用法

pretrained_model_path = "stabilityai/stable-video-diffusion-img2vid"
unet = UNetSpatioTemporalConditionModel.from_pretrained("/path/to/unet", torch_dtype=torch.float16,)
pipe = StableVideoDiffusionPipeline.from_pretrained(
    pretrained_model_path, 
    unet=unet,
    torch_dtype=torch.float16,
    variant="fp16",
    low_cpu_mem_usage=True)

📄 ライセンス

このモデルは、他のライセンスで提供されています。詳細はこちらをご覧ください。