Text2video Zero Controlnet Canny Arcane

🚀 文本到视频零模型卡 - 控制网络Canny奥术风格

Text2Video-Zero是一个零样本的文本到视频生成器。它可以执行零样本文本到视频生成、视频指令图像到图像（指令引导的视频编辑）、文本和姿态条件视频生成、文本和Canny边缘条件视频生成以及文本、Canny边缘和DreamBooth条件视频生成。有关这项工作的更多信息，请查看我们的论文和我们的演示： 。我们的代码可与任何StableDiffusion基础模型配合使用。

这个模型为奥术风格提供了DreamBooth权重，可在文本到视频零模型中与边缘引导（使用ControlNet）一起使用。

🚀 快速开始

本模型可用于文本到视频和文本到图像的生成任务，结合边缘引导和奥术风格，为用户带来独特的视觉体验。你可以参考我们的GitHub代码库进行使用。

✨ 主要特性

• 多模式生成：支持零样本文本到视频生成、视频指令图像到图像编辑、文本和姿态条件视频生成、文本和Canny边缘条件视频生成以及文本、Canny边缘和DreamBooth条件视频生成。
• 风格融合：提供奥术风格的DreamBooth权重，可与边缘引导结合使用，为生成内容增添独特风格。
• 兼容性强：代码可与任何StableDiffusion基础模型配合使用。

📚 详细文档

文本到视频零模型的权重

我们将原始权重转换为diffusers格式，并使其可用于带有边缘引导的ControlNet，转换方法参考：https://github.com/lllyasviel/ControlNet/discussions/12。

模型详情

@article{text2video-zero,
  title={Text2Video-Zero: Text-to-Image Diffusion Models are Zero-Shot Video Generators},
  author={Khachatryan, Levon and Movsisyan, Andranik and Tadevosyan, Vahram and Henschel, Roberto and Wang, Zhangyang and Navasardyan, Shant and Shi, Humphrey},
  journal={arXiv preprint arXiv:2303.13439},
  year={2023}
}

原始权重

奥术风格的Dreambooth权重取自CIVITAI。

模型详情

📄 许可证

本模型使用CreativeML OpenRAIL M许可证。

🔧 注意事项

⚠️ 重要提示

请注意，Text2Video-Zero可能会输出强化或加剧社会偏见的内容，以及逼真的人脸、色情内容和暴力内容。此演示中的Text2Video-Zero仅用于研究目的。

📚 引用

如果您在研究中使用了本模型，请使用以下引用格式：

@article{text2video-zero,
  title={Text2Video-Zero: Text-to-Image Diffusion Models are Zero-Shot Video Generators},
  author={Khachatryan, Levon and Movsisyan, Andranik and Tadevosyan, Vahram and Henschel, Roberto and Wang, Zhangyang and Navasardyan, Shant and Shi, Humphrey},
  journal={arXiv preprint arXiv:2303.13439},
  year={2023}
}