Text2video Zero Controlnet Canny Gta5

🚀 Text2Video-Zeroモデルカード - ControlNet Canny GTA-5スタイル

Text2Video-Zeroはゼロショットのテキストから動画を生成するモデルです。ゼロショットのテキストから動画生成、Video Instruct Pix2Pix（指示に基づく動画編集）、テキストとポーズ条件付き動画生成、テキストとキャニーエッジ条件付き動画生成、テキスト、キャニーエッジ、およびDreambooth条件付き動画生成を行うことができます。この研究に関する詳細情報は、論文とデモを参照してください： 。当社のコードは、任意のStableDiffusionベースモデルで動作します。

このモデルは、GTA-5スタイルのDreamBoothの重みを提供し、テキストから動画生成のゼロショットでエッジガイダンス（ControlNetを使用）とともに使用できます。

🚀 クイックスタート

Text2Video-Zero用の重み

元の重みをdiffusersに変換し、エッジガイダンス付きのControlNetで使用できるようにしました。変換には、https://github.com/lllyasviel/ControlNet/discussions/12 を使用しました。

✨ 主な機能

モデル詳細

引用方法

@article{text2video-zero,
  title={Text2Video-Zero: Text-to-Image Diffusion Models are Zero-Shot Video Generators},
  author={Khachatryan, Levon and Movsisyan, Andranik and Tadevosyan, Vahram and Henschel, Roberto and Wang, Zhangyang and Navasardyan, Shant and Shi, Humphrey},
  journal={arXiv preprint arXiv:2303.13439},
  year={2023}
}

元の重み

GTA-5スタイルのDreambooth重みは、CIVITAIから取得しました。

モデル詳細

📄 ライセンス

このモデルは、The CreativeML OpenRAIL M licenseの下で提供されています。

バイアスのあるコンテンツに関する注意

Text2Video-Zeroは、社会的バイアスを強化または悪化させるコンテンツ、リアルな顔、ポルノグラフィー、および暴力を含むコンテンツを出力する可能性があります。このデモのText2Video-Zeroは、研究目的のみを意図しています。

引用

@article{text2video-zero,
  title={Text2Video-Zero: Text-to-Image Diffusion Models are Zero-Shot Video Generators},
  author={Khachatryan, Levon and Movsisyan, Andranik and Tadevosyan, Vahram and Henschel, Roberto and Wang, Zhangyang and Navasardyan, Shant and Shi, Humphrey},
  journal={arXiv preprint arXiv:2303.13439},
  year={2023}
}