Stable Video Diffusion Img2vid Xt 1 1

🚀 穩定視頻擴散1.1圖像轉視頻模型卡片

穩定視頻擴散（SVD）1.1圖像轉視頻是一種擴散模型，它將靜態圖像作為條件幀，並從中生成視頻。該模型為研究提供了新的可能性，可用於生成藝術作品、探索生成模型的侷限性等。

🚀 快速開始

若要開始使用該模型，請查看 generative - models GitHub 倉庫。

✨ 主要特性

• 圖像轉視頻：以靜態圖像為條件幀生成視頻。
• 特定參數微調：在 6FPS 和運動桶 ID 127 的固定條件下進行微調，提高輸出一致性。
• 可調整條件：儘管進行了固定條件微調，但這些條件仍可調整。

📦 安裝指南

文檔未提供具體安裝步驟，故跳過此章節。

💻 使用示例

文檔未提供代碼示例，故跳過此章節。

📚 詳細文檔

模型詳情

模型描述

(SVD 1.1) 圖像轉視頻是一種潛在擴散模型，經訓練可根據圖像條件生成短視頻片段。該模型在給定相同大小的上下文幀的情況下，可生成分辨率為 1024x576 的 25 幀視頻，它是在 SVD 圖像轉視頻 [25 幀] 的基礎上進行微調的。

微調是在 6FPS 和運動桶 ID 127 的固定條件下進行的，以提高輸出的一致性，而無需調整超參數。這些條件仍然可以調整，並未被移除。與 SVD 1.0 相比，在固定條件設置之外的性能可能會有所不同。

模型來源

出於研究目的，建議使用 generative - models GitHub 倉庫（https://github.com/Stability-AI/generative-models），該倉庫實現了最流行的擴散框架（包括訓練和推理）。

• 倉庫：https://github.com/Stability-AI/generative-models
• 論文：https://stability.ai/research/stable-video-diffusion-scaling-latent-video-diffusion-models-to-large-datasets

使用場景

直接使用

該模型僅用於研究目的。可能的研究領域和任務包括：

• 生成模型的研究。
• 對有可能生成有害內容的模型進行安全部署。
• 探究和理解生成模型的侷限性和偏差。
• 藝術作品的生成以及在設計和其他藝術過程中的應用。
• 在教育或創意工具中的應用。

超出適用範圍的使用

該模型並非用於真實地呈現人物或事件，因此使用該模型生成此類內容超出了該模型的能力範圍。不得以任何違反 Stability AI 可接受使用政策 的方式使用該模型。

侷限性和偏差

侷限性

• 生成的視頻較短（<= 4 秒），且模型無法實現完美的逼真效果。
• 模型可能生成沒有運動或相機平移非常緩慢的視頻。
• 模型無法通過文本進行控制。
• 模型無法渲染清晰可讀的文本。
• 一般來說，人物和麵部可能無法正確生成。
• 模型的自動編碼部分存在信息損失。

建議

該模型僅用於研究目的。

🔧 技術細節

文檔未提供具體技術實現細節，故跳過此章節。

📄 許可證

本模型使用的是 stable - video - diffusion - 1 - 1 - nc - community 許可證，詳細的許可協議內容如下：

STABILITY AI 非商業研究社區許可協議

日期：2024 年 2 月 2 日

通過點擊下方的“我接受”，或使用、分發模型、軟件、軟件產品或衍生作品的任何部分或元素，即表示您同意本許可協議的條款。如果您不同意本許可協議，則您無權通過本許可協議使用軟件產品或衍生作品，且必須立即停止使用軟件產品或衍生作品。如果您代表您的僱主或其他實體同意受本許可協議條款的約束，您向 Stability AI 聲明並保證您擁有充分的合法權限使您的僱主或該實體受本許可協議的約束。如果您沒有必要的權限，則您不得代表您的僱主或其他實體接受本許可協議或訪問軟件產品或衍生作品。

• “協議”指本《Stable 非商業研究社區許可協議》。
• “AUP”指 Stability AI 的《可接受使用政策》，該政策可在 https://stability.ai/use - policy 上獲取，並可能會不時更新。
• “衍生作品”指 (a) 根據美國版權法認可的軟件產品的任何衍生作品，以及 (b) 對模型的任何修改，以及基於模型或模型輸出創建的任何其他模型。為明確起見，衍生作品不包括任何模型的輸出。
• “文檔”指 Stability AI 提供的與軟件相關的任何規格、手冊、文檔和其他書面信息。
• “被許可方”或“您”指您本人，或您的僱主，或任何其他個人或實體（如果您代表該個人或實體簽訂本協議），該個人或實體達到適用法律、規則或法規要求的提供合法同意的年齡，並且如果您代表他們簽訂本協議，具有使您的僱主或該其他個人或實體受約束的合法權限。
• “模型”指 Stability AI 根據本協議提供的專有模型和算法，包括機器學習模型、訓練好的模型權重以及上述內容的其他元素。
• “非商業用途”指為研究或非商業目的行使本協議授予的任何權利。非商業用途不包括軟件產品或任何衍生作品的任何生產用途。
• “Stability AI”或“我們”指 Stability AI Ltd. 及其關聯公司。
• “軟件”指 Stability AI 根據本協議提供的專有軟件。
• “軟件產品”指模型、軟件和文檔，單獨或任意組合。

1. 許可權利和再分發

a. 在您遵守本協議、AUP（本協議特此通過引用併入 AUP）和文檔的前提下，Stability AI 授予您一項非排他性、全球性、不可轉讓、不可再許可、可撤銷、免版稅且有限的許可，允許您在 Stability AI 體現在軟件產品中的知識產權或其他權利下，僅為非商業用途使用、複製、分發軟件產品並創建軟件產品的衍生作品。 b. 您不得使用軟件產品或衍生作品使第三方能夠將軟件產品或衍生作品作為您的託管服務的一部分或通過您的 API 使用，無論您是否為其添加了大量額外功能。僅在線分發軟件產品或衍生作品供下載而不提供任何相關服務（例如，在 HuggingFace 上分發模型）不違反本小節規定。如果您希望將軟件產品或任何衍生作品用於商業或生產用途，或者希望通過您的託管服務或 API 向第三方提供軟件產品或任何衍生作品，請通過 https://stability.ai/contact 聯繫 Stability AI。 c. 如果您向第三方分發或提供軟件產品或其任何衍生作品，軟件產品、衍生作品或其任何部分仍受本協議約束，並且您必須 (i) 向該第三方提供本協議的副本，並且 (ii) 在作為此類副本一部分分發的“通知”文本文件中保留以下歸屬聲明：“此 Stability AI 模型根據 Stability AI 非商業研究社區許可協議獲得許可，版權所有 (c) Stability AI Ltd. 保留所有權利。”如果您創建了軟件產品的衍生作品，您可以在軟件產品隨附的通知文件中添加您自己的歸屬聲明，但前提是您必須明確指出哪些歸屬聲明適用於軟件產品，並且您必須在通知文件中說明您對軟件產品進行了更改以及如何進行了修改。

2. 保修免責聲明

除非適用法律要求，否則軟件產品及其任何輸出和結果均按“現狀”提供，不提供任何形式的明示或暗示保證，包括但不限於所有權、不侵權、適銷性或特定用途適用性的保證。您獨自負責確定使用或再分發軟件產品、衍生作品或任何輸出和結果的適當性，並承擔與您使用軟件產品、衍生作品以及任何輸出和結果相關的任何風險。

3. 責任限制

在任何情況下，Stability AI 或其關聯公司均不對因本協議引起的任何利潤損失或任何直接、間接、特殊、後果性、偶然性、懲戒性或懲罰性損害承擔責任，無論責任理論為何，包括合同、侵權、疏忽、產品責任或其他責任，即使 Stability AI 或其關聯公司已被告知可能發生上述任何損害。

4. 知識產權

a. 本協議未授予商標許可，並且在涉及軟件產品或衍生作品時，除非在描述和再分發軟件產品或衍生作品時進行合理和慣常使用所需，否則 Stability AI 和被許可方均不得使用對方或其任何關聯公司擁有或關聯的任何名稱或標識。 b. 鑑於 Stability AI 對軟件產品和由其或為其製作的衍生作品擁有所有權，就您製作的任何衍生作品而言，在您和 Stability AI 之間，您是且將是此類衍生作品的所有者。 c. 如果您對 Stability AI 提起訴訟或其他法律程序（包括在訴訟中的反訴或反請求），聲稱軟件產品、衍生作品或相關輸出或結果，或上述任何內容的任何部分構成對您擁有或可許可的知識產權或其他權利的侵權，則本協議授予您的任何許可將自該訴訟或索賠提起之日起終止。您將賠償並使 Stability AI 免受因您違反本協議使用或分發軟件產品或衍生作品而引起的或與之相關的任何第三方索賠的損害。

5. 期限和終止

本協議的期限自您接受本協議或訪問軟件產品時開始，並將持續有效，直至根據本協議的條款和條件終止。如果您違反本協議的任何條款或條件，Stability AI 可終止本協議。本協議終止後，您應刪除並停止使用任何軟件產品或衍生作品。第 2 - 4 條在本協議終止後仍然有效。

6. 適用法律

本協議將受美國和加利福尼亞州法律的管轄並依其解釋，不考慮法律選擇原則。