Text2video Zero Controlnet Canny Avatar

🚀 Text2Video-Zero模型卡片 - ControlNet Canny頭像風格

Text2Video-Zero 是一個零樣本的文本到視頻生成器。它可以執行 零樣本的文本到視頻生成、視頻指令圖像到圖像轉換（指令引導的視頻編輯）、文本和姿勢條件視頻生成、文本和Canny邊緣條件視頻生成 以及 文本、Canny邊緣和Dreambooth條件視頻生成。有關這項工作的更多信息，請查看我們的 論文 和演示： 。我們的 代碼 可以與任何StableDiffusion基礎模型配合使用。

本模型為 頭像風格 提供了 DreamBooth 權重，可在Text2Video-Zero中與邊緣引導（使用 ControlNet）一起使用。

✨ 主要特性

• 支持多種文本到視頻和視頻編輯任務，包括零樣本生成和條件生成。
• 代碼可與任何StableDiffusion基礎模型兼容。
• 提供頭像風格的DreamBooth權重，適用於邊緣引導的文本到視頻和文本到圖像任務。

📚 詳細文檔

Text2Video-Zero權重

我們將原始權重轉換為Diffusers格式，並使其可用於帶有邊緣引導的 ControlNet，轉換方法參考：https://github.com/lllyasviel/ControlNet/discussions/12。

模型詳情

引用方式

@article{text2video-zero,
  title={Text2Video-Zero: Text-to-Image Diffusion Models are Zero-Shot Video Generators},
  author={Khachatryan, Levon and Movsisyan, Andranik and Tadevosyan, Vahram and Henschel, Roberto and Wang, Zhangyang and Navasardyan, Shant and Shi, Humphrey},
  journal={arXiv preprint arXiv:2303.13439},
  year={2023}
}

原始權重

頭像風格的DreamBooth權重來自 CIVITAI。

模型詳情

⚠️ 重要提示

請注意，Text2Video-Zero可能會輸出強化或加劇社會偏見的內容，以及逼真的人臉、色情和暴力內容。此演示中的Text2Video-Zero僅用於研究目的。

📄 許可證

本模型採用 CreativeML OpenRAIL M許可證。