Stable Video Diffusion Img2vid Xt 1 1

🚀 稳定视频扩散1.1图像转视频模型卡片

稳定视频扩散（SVD）1.1图像转视频是一种扩散模型，它将静态图像作为条件帧，并从中生成视频。该模型为研究提供了新的可能性，可用于生成艺术作品、探索生成模型的局限性等。

🚀 快速开始

若要开始使用该模型，请查看 generative - models GitHub 仓库。

✨ 主要特性

• 图像转视频：以静态图像为条件帧生成视频。
• 特定参数微调：在 6FPS 和运动桶 ID 127 的固定条件下进行微调，提高输出一致性。
• 可调整条件：尽管进行了固定条件微调，但这些条件仍可调整。

📦 安装指南

文档未提供具体安装步骤，故跳过此章节。

💻 使用示例

文档未提供代码示例，故跳过此章节。

📚 详细文档

模型详情

模型描述

(SVD 1.1) 图像转视频是一种潜在扩散模型，经训练可根据图像条件生成短视频片段。该模型在给定相同大小的上下文帧的情况下，可生成分辨率为 1024x576 的 25 帧视频，它是在 SVD 图像转视频 [25 帧] 的基础上进行微调的。

微调是在 6FPS 和运动桶 ID 127 的固定条件下进行的，以提高输出的一致性，而无需调整超参数。这些条件仍然可以调整，并未被移除。与 SVD 1.0 相比，在固定条件设置之外的性能可能会有所不同。

模型来源

出于研究目的，建议使用 generative - models GitHub 仓库（https://github.com/Stability-AI/generative-models），该仓库实现了最流行的扩散框架（包括训练和推理）。

• 仓库：https://github.com/Stability-AI/generative-models
• 论文：https://stability.ai/research/stable-video-diffusion-scaling-latent-video-diffusion-models-to-large-datasets

使用场景

直接使用

该模型仅用于研究目的。可能的研究领域和任务包括：

• 生成模型的研究。
• 对有可能生成有害内容的模型进行安全部署。
• 探究和理解生成模型的局限性和偏差。
• 艺术作品的生成以及在设计和其他艺术过程中的应用。
• 在教育或创意工具中的应用。

超出适用范围的使用

该模型并非用于真实地呈现人物或事件，因此使用该模型生成此类内容超出了该模型的能力范围。不得以任何违反 Stability AI 可接受使用政策 的方式使用该模型。

局限性和偏差

局限性

• 生成的视频较短（<= 4 秒），且模型无法实现完美的逼真效果。
• 模型可能生成没有运动或相机平移非常缓慢的视频。
• 模型无法通过文本进行控制。
• 模型无法渲染清晰可读的文本。
• 一般来说，人物和面部可能无法正确生成。
• 模型的自动编码部分存在信息损失。

建议

该模型仅用于研究目的。

🔧 技术细节

文档未提供具体技术实现细节，故跳过此章节。

📄 许可证

本模型使用的是 stable - video - diffusion - 1 - 1 - nc - community 许可证，详细的许可协议内容如下：

STABILITY AI 非商业研究社区许可协议

日期：2024 年 2 月 2 日

通过点击下方的“我接受”，或使用、分发模型、软件、软件产品或衍生作品的任何部分或元素，即表示您同意本许可协议的条款。如果您不同意本许可协议，则您无权通过本许可协议使用软件产品或衍生作品，且必须立即停止使用软件产品或衍生作品。如果您代表您的雇主或其他实体同意受本许可协议条款的约束，您向 Stability AI 声明并保证您拥有充分的合法权限使您的雇主或该实体受本许可协议的约束。如果您没有必要的权限，则您不得代表您的雇主或其他实体接受本许可协议或访问软件产品或衍生作品。

• “协议”指本《Stable 非商业研究社区许可协议》。
• “AUP”指 Stability AI 的《可接受使用政策》，该政策可在 https://stability.ai/use - policy 上获取，并可能会不时更新。
• “衍生作品”指 (a) 根据美国版权法认可的软件产品的任何衍生作品，以及 (b) 对模型的任何修改，以及基于模型或模型输出创建的任何其他模型。为明确起见，衍生作品不包括任何模型的输出。
• “文档”指 Stability AI 提供的与软件相关的任何规格、手册、文档和其他书面信息。
• “被许可方”或“您”指您本人，或您的雇主，或任何其他个人或实体（如果您代表该个人或实体签订本协议），该个人或实体达到适用法律、规则或法规要求的提供合法同意的年龄，并且如果您代表他们签订本协议，具有使您的雇主或该其他个人或实体受约束的合法权限。
• “模型”指 Stability AI 根据本协议提供的专有模型和算法，包括机器学习模型、训练好的模型权重以及上述内容的其他元素。
• “非商业用途”指为研究或非商业目的行使本协议授予的任何权利。非商业用途不包括软件产品或任何衍生作品的任何生产用途。
• “Stability AI”或“我们”指 Stability AI Ltd. 及其关联公司。
• “软件”指 Stability AI 根据本协议提供的专有软件。
• “软件产品”指模型、软件和文档，单独或任意组合。

1. 许可权利和再分发

a. 在您遵守本协议、AUP（本协议特此通过引用并入 AUP）和文档的前提下，Stability AI 授予您一项非排他性、全球性、不可转让、不可再许可、可撤销、免版税且有限的许可，允许您在 Stability AI 体现在软件产品中的知识产权或其他权利下，仅为非商业用途使用、复制、分发软件产品并创建软件产品的衍生作品。 b. 您不得使用软件产品或衍生作品使第三方能够将软件产品或衍生作品作为您的托管服务的一部分或通过您的 API 使用，无论您是否为其添加了大量额外功能。仅在线分发软件产品或衍生作品供下载而不提供任何相关服务（例如，在 HuggingFace 上分发模型）不违反本小节规定。如果您希望将软件产品或任何衍生作品用于商业或生产用途，或者希望通过您的托管服务或 API 向第三方提供软件产品或任何衍生作品，请通过 https://stability.ai/contact 联系 Stability AI。 c. 如果您向第三方分发或提供软件产品或其任何衍生作品，软件产品、衍生作品或其任何部分仍受本协议约束，并且您必须 (i) 向该第三方提供本协议的副本，并且 (ii) 在作为此类副本一部分分发的“通知”文本文件中保留以下归属声明：“此 Stability AI 模型根据 Stability AI 非商业研究社区许可协议获得许可，版权所有 (c) Stability AI Ltd. 保留所有权利。”如果您创建了软件产品的衍生作品，您可以在软件产品随附的通知文件中添加您自己的归属声明，但前提是您必须明确指出哪些归属声明适用于软件产品，并且您必须在通知文件中说明您对软件产品进行了更改以及如何进行了修改。

2. 保修免责声明

除非适用法律要求，否则软件产品及其任何输出和结果均按“现状”提供，不提供任何形式的明示或暗示保证，包括但不限于所有权、不侵权、适销性或特定用途适用性的保证。您独自负责确定使用或再分发软件产品、衍生作品或任何输出和结果的适当性，并承担与您使用软件产品、衍生作品以及任何输出和结果相关的任何风险。

3. 责任限制

在任何情况下，Stability AI 或其关联公司均不对因本协议引起的任何利润损失或任何直接、间接、特殊、后果性、偶然性、惩戒性或惩罚性损害承担责任，无论责任理论为何，包括合同、侵权、疏忽、产品责任或其他责任，即使 Stability AI 或其关联公司已被告知可能发生上述任何损害。

4. 知识产权

a. 本协议未授予商标许可，并且在涉及软件产品或衍生作品时，除非在描述和再分发软件产品或衍生作品时进行合理和惯常使用所需，否则 Stability AI 和被许可方均不得使用对方或其任何关联公司拥有或关联的任何名称或标识。 b. 鉴于 Stability AI 对软件产品和由其或为其制作的衍生作品拥有所有权，就您制作的任何衍生作品而言，在您和 Stability AI 之间，您是且将是此类衍生作品的所有者。 c. 如果您对 Stability AI 提起诉讼或其他法律程序（包括在诉讼中的反诉或反请求），声称软件产品、衍生作品或相关输出或结果，或上述任何内容的任何部分构成对您拥有或可许可的知识产权或其他权利的侵权，则本协议授予您的任何许可将自该诉讼或索赔提起之日起终止。您将赔偿并使 Stability AI 免受因您违反本协议使用或分发软件产品或衍生作品而引起的或与之相关的任何第三方索赔的损害。

5. 期限和终止

本协议的期限自您接受本协议或访问软件产品时开始，并将持续有效，直至根据本协议的条款和条件终止。如果您违反本协议的任何条款或条件，Stability AI 可终止本协议。本协议终止后，您应删除并停止使用任何软件产品或衍生作品。第 2 - 4 条在本协议终止后仍然有效。

6. 适用法律

本协议将受美国和加利福尼亚州法律的管辖并依其解释，不考虑法律选择原则。