Text2video Zero Controlnet Canny Anime

🚀 文本到视频零模型卡 - ControlNet Canny动漫风格

Text2Video-Zero 是一个零样本的文本到视频生成器。它可以执行 零样本的文本到视频生成、视频指令图像到图像转换（指令引导的视频编辑）、文本和姿势条件视频生成、文本和Canny边缘条件视频生成，以及 文本、Canny边缘和DreamBooth条件视频生成。有关这项工作的更多信息，请查看我们的 论文 和演示： 。我们的 代码 可以与任何StableDiffusion基础模型配合使用。

这个模型为文本到视频零模型提供了适用于 动漫风格 的 DreamBooth 权重，可用于边缘引导（使用 ControlNet）。

✨ 主要特性

• 实现多种文本到视频及视频编辑功能，如零样本生成、指令引导编辑等。
• 提供动漫风格的DreamBooth权重，可用于边缘引导。
• 代码能与任何StableDiffusion基础模型配合使用。

📚 详细文档

文本到视频零模型的权重

我们将原始权重转换为Diffusers格式，并使其可用于带有边缘引导的 ControlNet，具体方法参考：https://github.com/lllyasviel/ControlNet/discussions/12。

模型详情

@article{text2video-zero,
  title={Text2Video-Zero: Text-to-Image Diffusion Models are Zero-Shot Video Generators},
  author={Khachatryan, Levon and Movsisyan, Andranik and Tadevosyan, Vahram and Henschel, Roberto and Wang, Zhangyang and Navasardyan, Shant and Shi, Humphrey},
  journal={arXiv preprint arXiv:2303.13439},
  year={2023}
}

原始权重

动漫风格的DreamBooth权重取自 CIVITAI。

模型详情

⚠️ 重要提示

请注意，Text2Video-Zero可能会输出强化或加剧社会偏见的内容，以及逼真的人脸、色情内容和暴力内容。此演示中的Text2Video-Zero仅用于研究目的。

📄 许可证

本模型采用 CreativeML OpenRAIL M许可证。

📖 引用

如需引用此模型，请使用以下格式：

@article{text2video-zero,
  title={Text2Video-Zero: Text-to-Image Diffusion Models are Zero-Shot Video Generators},
  author={Khachatryan, Levon and Movsisyan, Andranik and Tadevosyan, Vahram and Henschel, Roberto and Wang, Zhangyang and Navasardyan, Shant and Shi, Humphrey},
  journal={arXiv preprint arXiv:2303.13439},
  year={2023}
}