Stable Video Diffusion Img2vid Xt

🚀 穩定視頻擴散圖像轉視頻模型卡片

穩定視頻擴散（SVD）圖像轉視頻模型是一種擴散模型，它以靜態圖像作為條件幀，進而生成視頻，為圖像到視頻的轉換提供了強大的解決方案。

🚀 快速開始

若要開始使用該模型，請查看：https://github.com/Stability-AI/generative-models

✨ 主要特性

• 以靜態圖像為條件幀生成視頻。
• 經過微調，能生成25幀分辨率為576x1024的短視頻片段。
• 對f8 - 解碼器進行微調以確保時間一致性。
• 額外提供標準逐幀解碼器。

📚 詳細文檔

模型詳情

模型描述

穩定視頻擴散（SVD）圖像轉視頻是一種潛在擴散模型，經過訓練可根據圖像條件生成短視頻片段。該模型經過訓練，在給定相同大小的上下文幀的情況下，能生成25幀分辨率為576x1024的視頻，它是在SVD圖像轉視頻 [14幀]的基礎上進行微調的。同時，為了保證時間一致性，我們還對廣泛使用的f8 - 解碼器進行了微調。為方便使用，我們還在此處提供了帶有標準逐幀解碼器的模型：標準逐幀解碼器。

模型來源

出於研究目的，我們推薦使用我們的 generative - models GitHub倉庫（https://github.com/Stability-AI/generative-models），該倉庫實現了最流行的擴散框架（包括訓練和推理）。

• 倉庫地址：https://github.com/Stability-AI/generative-models
• 論文地址：https://stability.ai/research/stable-video-diffusion-scaling-latent-video-diffusion-models-to-large-datasets

評估

上圖展示了用戶對SVD圖像轉視頻模型相對於GEN - 2和PikaLabs的偏好評估。在視頻質量方面，人類投票者更傾向於SVD圖像轉視頻模型。有關用戶研究的詳細信息，請參考研究論文。

使用場景

直接使用

該模型僅用於研究目的。可能的研究領域和任務包括：

• 生成式模型的研究。
• 對有可能生成有害內容的模型進行安全部署。
• 探究和理解生成式模型的侷限性和偏差。
• 藝術品生成以及在設計和其他藝術過程中的應用。
• 在教育或創意工具中的應用。

以下是不適用的使用場景。

超出適用範圍的使用

該模型並非用於真實地呈現人物或事件，因此使用該模型生成此類內容超出了其能力範圍。同時，不得以任何違反Stability AI 可接受使用政策的方式使用該模型。

侷限性和偏差

侷限性

• 生成的視頻較短（<= 4秒），且模型無法實現完美的逼真效果。
• 模型可能生成無運動或相機平移非常緩慢的視頻。
• 模型無法通過文本進行控制。
• 模型無法渲染清晰可讀的文本。
• 生成的人臉和人物可能效果不佳。
• 模型的自動編碼部分存在信息損失。

使用建議

該模型僅用於研究目的。

📄 許可證

• 許可證類型：other
• 許可證名稱：stable - video - diffusion - nc - community
• 許可證鏈接：LICENSE