Stable Video Diffusion Img2vid Xt 1 1

🚀 Stable Video Diffusion 1.1 圖像轉視頻模型卡片

Stable Video Diffusion 1.1 圖像轉視頻模型是一個擴散模型，它以靜態圖像作為條件幀，進而從中生成視頻。此模型可用於非商業和商業用途，但商業使用需參考相關授權說明。

🚀 快速開始

若要開始使用該模型，請查看：https://github.com/Stability-AI/generative-models

✨ 主要特性

• 以靜態圖像為條件幀生成視頻。
• 可用於非商業研究和商業用途（商業使用需額外參考）。
• 微調自特定的圖像轉視頻模型，優化了輸出的一致性。

📦 安裝指南

文檔未提供具體安裝步驟，故跳過此章節。

💻 使用示例

文檔未提供代碼示例，故跳過此章節。

📚 詳細文檔

🔍 模型詳情

模型描述

(SVD 1.1) 圖像轉視頻是一個潛在擴散模型，經訓練可根據圖像條件生成短視頻片段。該模型在給定相同大小的上下文幀時，可生成分辨率為 1024x576 的 25 幀視頻，它是從 SVD 圖像轉視頻 [25 幀] 微調而來。

微調是在 6FPS 和運動桶 ID 127 的固定條件下進行的，以提高輸出的一致性，且無需調整超參數。不過，這些條件仍然可以調整。與 SVD 1.0 相比，在固定條件設置之外的性能可能會有所不同。

模型來源

出於研究目的，建議使用 generative-models GitHub 倉庫 (https://github.com/Stability-AI/generative-models)，該倉庫實現了最流行的擴散框架（包括訓練和推理）。

• 倉庫地址：https://github.com/Stability-AI/generative-models
• 論文地址：https://stability.ai/research/stable-video-diffusion-scaling-latent-video-diffusion-models-to-large-datasets

💡 使用說明

直接使用

該模型適用於非商業和商業用途。可在以下 許可 下將此模型用於非商業或研究目的。可能的研究領域和任務包括：

• 生成式模型的研究。
• 對可能生成有害內容的模型進行安全部署。
• 探究和理解生成式模型的侷限性和偏差。
• 藝術品生成以及在設計和其他藝術過程中的應用。
• 教育或創意工具中的應用。

商業使用請參考：https://stability.ai/membership。

非預期使用

該模型並非用於真實、準確地呈現人物或事件，因此使用該模型生成此類內容超出了其能力範圍。不得以任何違反 Stability AI 可接受使用政策 的方式使用該模型。

⚠️ 侷限性和偏差

侷限性

• 生成的視頻較短（<= 4 秒），且模型無法實現完美的照片級真實感。
• 模型可能生成無運動或相機平移非常緩慢的視頻。
• 模型無法通過文本進行控制。
• 模型無法渲染清晰可讀的文本。
• 人物面部和整體人物可能無法正確生成。
• 模型的自動編碼部分存在信息損失。

使用建議

該模型適用於非商業和商業用途。

🔧 技術細節

文檔未提供具體技術實現細節，故跳過此章節。

📄 許可證

本模型使用的是 Stable Video Diffusion 1.1 非商業研究社區許可協議。以下是該許可協議的主要內容：

穩定視頻擴散 1.1 非商業研究社區許可協議

日期：2024 年 2 月 2 日

通過點擊下方的“我接受”，或使用、分發模型、軟件、軟件產品或衍生作品的任何部分或元素，即表示您同意本許可協議的條款。如果您不同意本許可協議，則無權通過本許可使用軟件產品或衍生作品，必須立即停止使用。如果您代表您的僱主或其他實體同意受本許可協議條款的約束，您向 Stability AI 聲明並保證您擁有充分的法律權力使您的僱主或該實體受本許可協議的約束。如果您沒有必要的權力，則不得代表您的僱主或其他實體接受本許可協議或訪問軟件產品或衍生作品。

• “協議”指本《穩定非商業研究社區許可協議》。
• “AUP”指 Stability AI 可接受使用政策，可在 https://stability.ai/use-policy 查看，該政策可能會不時更新。
• “衍生作品”指 (a) 根據美國版權法認可的軟件產品的任何衍生作品，以及 (b) 對模型的任何修改，以及基於或源自該模型或模型輸出創建的任何其他模型。為明確起見，衍生作品不包括任何模型的輸出。
• “文檔”指 Stability AI 提供的與軟件相關的任何規格、手冊、文檔和其他書面信息。
• “被許可方”或“您”指您，或您的僱主或任何其他人或實體（如果您代表該人或實體簽訂本協議），且您已達到適用法律、規則或法規要求的提供法律同意的年齡，並且如果您代表他們簽訂本協議，您擁有使您的僱主或該其他人或實體受約束的法律權力。
• “模型”指 Stability AI 根據本協議提供的專有模型和算法，包括機器學習模型、訓練好的模型權重以及上述內容的其他元素。
• “非商業用途”指為研究或非商業目的行使本協議授予的任何權利。非商業用途不包括軟件產品或任何衍生作品的任何生產用途。
• “Stability AI”或“我們”指 Stability AI Ltd. 及其關聯公司。
• “軟件”指 Stability AI 根據本協議提供的專有軟件。
• “軟件產品”指模型、軟件和文檔，單獨或任意組合。

1. 許可權利和再分發

a. 在您遵守本協議、AUP（本協議特此引用併入）和文檔的前提下，Stability AI 授予您一項非排他、全球、不可轉讓、不可再許可、可撤銷、免版稅且有限的許可，允許您在軟件產品所體現的 Stability AI 擁有或控制的知識產權或其他權利下，僅為非商業用途使用、複製、分發軟件產品並創建其衍生作品。 b. 您不得使用軟件產品或衍生作品使第三方能夠通過您的託管服務或 API 使用軟件產品或衍生作品，無論您是否為其添加了大量額外功能。僅在線分發軟件產品或衍生作品供下載（例如在 Hugging Face 上分發模型）不違反本小節規定。如果您希望將軟件產品或任何衍生作品用於商業或生產用途，或希望通過您的託管服務或 API 向第三方提供軟件產品或任何衍生作品，請通過 https://stability.ai/contact 聯繫 Stability AI。 c. 如果您向第三方分發或提供軟件產品或其任何衍生作品，軟件產品、衍生作品或其任何部分仍受本協議約束，您必須 (i) 向該第三方提供本協議的副本，並且 (ii) 在作為此類副本一部分分發的“通知”文本文件中保留以下歸屬聲明：“此 Stability AI 模型根據 Stability AI 非商業研究社區許可協議獲得許可，版權所有 (c) Stability AI Ltd. 保留所有權利。” 如果您創建了軟件產品的衍生作品，您可以在軟件產品附帶的通知文件中添加您自己的歸屬聲明，但前提是您必須明確指出哪些歸屬適用於軟件產品，並且必須在通知文件中說明您對軟件產品進行了更改以及如何進行了修改。

2. 保修免責聲明

除非適用法律要求，否則軟件產品及其任何輸出和結果均按“現狀”提供，不提供任何形式的明示或暗示保證，包括但不限於所有權、不侵權、適銷性或特定用途適用性的保證。您獨自負責確定使用或再分發軟件產品、衍生作品或其任何輸出和結果的適當性，並承擔與使用軟件產品、衍生作品及其任何輸出和結果相關的任何風險。

3. 責任限制

在任何情況下，Stability AI 或其關聯公司均不對因本協議引起的任何利潤損失或任何直接、間接、特殊、後果性、偶然、懲戒性或懲罰性損害承擔責任，無論責任理論是合同、侵權、疏忽、產品責任還是其他，即使 Stability AI 或其關聯公司已被告知可能發生上述任何損害。

4. 知識產權

a. 本協議未授予商標許可，並且在涉及軟件產品或衍生作品時，除非在描述和再分發軟件產品或衍生作品時進行合理和慣常使用所需，否則 Stability AI 和被許可方均不得使用對方或其任何關聯公司擁有或關聯的任何名稱或標記。 b. 鑑於 Stability AI 擁有軟件產品和由其或為其製作的衍生作品，就您製作的任何衍生作品而言，在您和 Stability AI 之間，您是且將是此類衍生作品的所有者。 c. 如果您對 Stability AI 提起訴訟或其他法律程序（包括在訴訟中的反訴或反請求），聲稱軟件產品、衍生作品或相關輸出或結果，或上述任何部分構成侵犯您擁有或可許可的知識產權或其他權利，則本協議授予您的任何許可自該訴訟或索賠提起之日起終止。您將賠償並使 Stability AI 免受因您違反本協議使用或分發軟件產品或衍生作品而引起的任何第三方索賠。

5. 期限和終止

本協議的期限自您接受本協議或訪問軟件產品時開始，並將持續有效，直至根據本協議的條款和條件終止。如果您違反本協議的任何條款或條件，Stability AI 可終止本協議。本協議終止後，您應刪除並停止使用任何軟件產品或衍生作品。第 2 - 4 條在本協議終止後仍然有效。

6. 適用法律

本協議受美國和加利福尼亞州法律管轄，並依其解釋，不考慮法律選擇原則。