Text2video Zero Controlnet Canny Arcane

🚀 文本到視頻零模型卡 - 控制網絡Canny奧術風格

Text2Video-Zero是一個零樣本的文本到視頻生成器。它可以執行零樣本文本到視頻生成、視頻指令圖像到圖像（指令引導的視頻編輯）、文本和姿態條件視頻生成、文本和Canny邊緣條件視頻生成以及文本、Canny邊緣和DreamBooth條件視頻生成。有關這項工作的更多信息，請查看我們的論文和我們的演示： 。我們的代碼可與任何StableDiffusion基礎模型配合使用。

這個模型為奧術風格提供了DreamBooth權重，可在文本到視頻零模型中與邊緣引導（使用ControlNet）一起使用。

🚀 快速開始

本模型可用於文本到視頻和文本到圖像的生成任務，結合邊緣引導和奧術風格，為用戶帶來獨特的視覺體驗。你可以參考我們的GitHub代碼庫進行使用。

✨ 主要特性

• 多模式生成：支持零樣本文本到視頻生成、視頻指令圖像到圖像編輯、文本和姿態條件視頻生成、文本和Canny邊緣條件視頻生成以及文本、Canny邊緣和DreamBooth條件視頻生成。
• 風格融合：提供奧術風格的DreamBooth權重，可與邊緣引導結合使用，為生成內容增添獨特風格。
• 兼容性強：代碼可與任何StableDiffusion基礎模型配合使用。

📚 詳細文檔

文本到視頻零模型的權重

我們將原始權重轉換為diffusers格式，並使其可用於帶有邊緣引導的ControlNet，轉換方法參考：https://github.com/lllyasviel/ControlNet/discussions/12。

模型詳情

@article{text2video-zero,
  title={Text2Video-Zero: Text-to-Image Diffusion Models are Zero-Shot Video Generators},
  author={Khachatryan, Levon and Movsisyan, Andranik and Tadevosyan, Vahram and Henschel, Roberto and Wang, Zhangyang and Navasardyan, Shant and Shi, Humphrey},
  journal={arXiv preprint arXiv:2303.13439},
  year={2023}
}

原始權重

奧術風格的Dreambooth權重取自CIVITAI。

模型詳情

📄 許可證

本模型使用CreativeML OpenRAIL M許可證。

🔧 注意事項

⚠️ 重要提示

請注意，Text2Video-Zero可能會輸出強化或加劇社會偏見的內容，以及逼真的人臉、色情內容和暴力內容。此演示中的Text2Video-Zero僅用於研究目的。

📚 引用

如果您在研究中使用了本模型，請使用以下引用格式：

@article{text2video-zero,
  title={Text2Video-Zero: Text-to-Image Diffusion Models are Zero-Shot Video Generators},
  author={Khachatryan, Levon and Movsisyan, Andranik and Tadevosyan, Vahram and Henschel, Roberto and Wang, Zhangyang and Navasardyan, Shant and Shi, Humphrey},
  journal={arXiv preprint arXiv:2303.13439},
  year={2023}
}