Stable Video Diffusion Img2vid Xt 1 1

🚀 Stable Video Diffusion 1.1 图像转视频模型卡片

Stable Video Diffusion 1.1 图像转视频模型是一个扩散模型，它以静态图像作为条件帧，进而从中生成视频。此模型可用于非商业和商业用途，但商业使用需参考相关授权说明。

🚀 快速开始

若要开始使用该模型，请查看：https://github.com/Stability-AI/generative-models

✨ 主要特性

• 以静态图像为条件帧生成视频。
• 可用于非商业研究和商业用途（商业使用需额外参考）。
• 微调自特定的图像转视频模型，优化了输出的一致性。

📦 安装指南

文档未提供具体安装步骤，故跳过此章节。

💻 使用示例

文档未提供代码示例，故跳过此章节。

📚 详细文档

🔍 模型详情

模型描述

(SVD 1.1) 图像转视频是一个潜在扩散模型，经训练可根据图像条件生成短视频片段。该模型在给定相同大小的上下文帧时，可生成分辨率为 1024x576 的 25 帧视频，它是从 SVD 图像转视频 [25 帧] 微调而来。

微调是在 6FPS 和运动桶 ID 127 的固定条件下进行的，以提高输出的一致性，且无需调整超参数。不过，这些条件仍然可以调整。与 SVD 1.0 相比，在固定条件设置之外的性能可能会有所不同。

模型来源

出于研究目的，建议使用 generative-models GitHub 仓库 (https://github.com/Stability-AI/generative-models)，该仓库实现了最流行的扩散框架（包括训练和推理）。

• 仓库地址：https://github.com/Stability-AI/generative-models
• 论文地址：https://stability.ai/research/stable-video-diffusion-scaling-latent-video-diffusion-models-to-large-datasets

💡 使用说明

直接使用

该模型适用于非商业和商业用途。可在以下 许可 下将此模型用于非商业或研究目的。可能的研究领域和任务包括：

• 生成式模型的研究。
• 对可能生成有害内容的模型进行安全部署。
• 探究和理解生成式模型的局限性和偏差。
• 艺术品生成以及在设计和其他艺术过程中的应用。
• 教育或创意工具中的应用。

商业使用请参考：https://stability.ai/membership。

非预期使用

该模型并非用于真实、准确地呈现人物或事件，因此使用该模型生成此类内容超出了其能力范围。不得以任何违反 Stability AI 可接受使用政策 的方式使用该模型。

⚠️ 局限性和偏差

局限性

• 生成的视频较短（<= 4 秒），且模型无法实现完美的照片级真实感。
• 模型可能生成无运动或相机平移非常缓慢的视频。
• 模型无法通过文本进行控制。
• 模型无法渲染清晰可读的文本。
• 人物面部和整体人物可能无法正确生成。
• 模型的自动编码部分存在信息损失。

使用建议

该模型适用于非商业和商业用途。

🔧 技术细节

文档未提供具体技术实现细节，故跳过此章节。

📄 许可证

本模型使用的是 Stable Video Diffusion 1.1 非商业研究社区许可协议。以下是该许可协议的主要内容：

稳定视频扩散 1.1 非商业研究社区许可协议

日期：2024 年 2 月 2 日

通过点击下方的“我接受”，或使用、分发模型、软件、软件产品或衍生作品的任何部分或元素，即表示您同意本许可协议的条款。如果您不同意本许可协议，则无权通过本许可使用软件产品或衍生作品，必须立即停止使用。如果您代表您的雇主或其他实体同意受本许可协议条款的约束，您向 Stability AI 声明并保证您拥有充分的法律权力使您的雇主或该实体受本许可协议的约束。如果您没有必要的权力，则不得代表您的雇主或其他实体接受本许可协议或访问软件产品或衍生作品。

• “协议”指本《稳定非商业研究社区许可协议》。
• “AUP”指 Stability AI 可接受使用政策，可在 https://stability.ai/use-policy 查看，该政策可能会不时更新。
• “衍生作品”指 (a) 根据美国版权法认可的软件产品的任何衍生作品，以及 (b) 对模型的任何修改，以及基于或源自该模型或模型输出创建的任何其他模型。为明确起见，衍生作品不包括任何模型的输出。
• “文档”指 Stability AI 提供的与软件相关的任何规格、手册、文档和其他书面信息。
• “被许可方”或“您”指您，或您的雇主或任何其他人或实体（如果您代表该人或实体签订本协议），且您已达到适用法律、规则或法规要求的提供法律同意的年龄，并且如果您代表他们签订本协议，您拥有使您的雇主或该其他人或实体受约束的法律权力。
• “模型”指 Stability AI 根据本协议提供的专有模型和算法，包括机器学习模型、训练好的模型权重以及上述内容的其他元素。
• “非商业用途”指为研究或非商业目的行使本协议授予的任何权利。非商业用途不包括软件产品或任何衍生作品的任何生产用途。
• “Stability AI”或“我们”指 Stability AI Ltd. 及其关联公司。
• “软件”指 Stability AI 根据本协议提供的专有软件。
• “软件产品”指模型、软件和文档，单独或任意组合。

1. 许可权利和再分发

a. 在您遵守本协议、AUP（本协议特此引用并入）和文档的前提下，Stability AI 授予您一项非排他、全球、不可转让、不可再许可、可撤销、免版税且有限的许可，允许您在软件产品所体现的 Stability AI 拥有或控制的知识产权或其他权利下，仅为非商业用途使用、复制、分发软件产品并创建其衍生作品。 b. 您不得使用软件产品或衍生作品使第三方能够通过您的托管服务或 API 使用软件产品或衍生作品，无论您是否为其添加了大量额外功能。仅在线分发软件产品或衍生作品供下载（例如在 Hugging Face 上分发模型）不违反本小节规定。如果您希望将软件产品或任何衍生作品用于商业或生产用途，或希望通过您的托管服务或 API 向第三方提供软件产品或任何衍生作品，请通过 https://stability.ai/contact 联系 Stability AI。 c. 如果您向第三方分发或提供软件产品或其任何衍生作品，软件产品、衍生作品或其任何部分仍受本协议约束，您必须 (i) 向该第三方提供本协议的副本，并且 (ii) 在作为此类副本一部分分发的“通知”文本文件中保留以下归属声明：“此 Stability AI 模型根据 Stability AI 非商业研究社区许可协议获得许可，版权所有 (c) Stability AI Ltd. 保留所有权利。” 如果您创建了软件产品的衍生作品，您可以在软件产品附带的通知文件中添加您自己的归属声明，但前提是您必须明确指出哪些归属适用于软件产品，并且必须在通知文件中说明您对软件产品进行了更改以及如何进行了修改。

2. 保修免责声明

除非适用法律要求，否则软件产品及其任何输出和结果均按“现状”提供，不提供任何形式的明示或暗示保证，包括但不限于所有权、不侵权、适销性或特定用途适用性的保证。您独自负责确定使用或再分发软件产品、衍生作品或其任何输出和结果的适当性，并承担与使用软件产品、衍生作品及其任何输出和结果相关的任何风险。

3. 责任限制

在任何情况下，Stability AI 或其关联公司均不对因本协议引起的任何利润损失或任何直接、间接、特殊、后果性、偶然、惩戒性或惩罚性损害承担责任，无论责任理论是合同、侵权、疏忽、产品责任还是其他，即使 Stability AI 或其关联公司已被告知可能发生上述任何损害。

4. 知识产权

a. 本协议未授予商标许可，并且在涉及软件产品或衍生作品时，除非在描述和再分发软件产品或衍生作品时进行合理和惯常使用所需，否则 Stability AI 和被许可方均不得使用对方或其任何关联公司拥有或关联的任何名称或标记。 b. 鉴于 Stability AI 拥有软件产品和由其或为其制作的衍生作品，就您制作的任何衍生作品而言，在您和 Stability AI 之间，您是且将是此类衍生作品的所有者。 c. 如果您对 Stability AI 提起诉讼或其他法律程序（包括在诉讼中的反诉或反请求），声称软件产品、衍生作品或相关输出或结果，或上述任何部分构成侵犯您拥有或可许可的知识产权或其他权利，则本协议授予您的任何许可自该诉讼或索赔提起之日起终止。您将赔偿并使 Stability AI 免受因您违反本协议使用或分发软件产品或衍生作品而引起的任何第三方索赔。

5. 期限和终止

本协议的期限自您接受本协议或访问软件产品时开始，并将持续有效，直至根据本协议的条款和条件终止。如果您违反本协议的任何条款或条件，Stability AI 可终止本协议。本协议终止后，您应删除并停止使用任何软件产品或衍生作品。第 2 - 4 条在本协议终止后仍然有效。

6. 适用法律

本协议受美国和加利福尼亚州法律管辖，并依其解释，不考虑法律选择原则。