Text2video Zero Controlnet Canny Avatar

🚀 Text2Video-Zeroモデルカード - ControlNet Cannyアバタースタイル

Text2Video-Zeroはゼロショットのテキストからビデオを生成するモデルです。ゼロショットのテキストからビデオ生成、Video Instruct Pix2Pix（指示に基づくビデオ編集）、テキストとポーズ条件付きビデオ生成、テキストとキャニーエッジ条件付きビデオ生成、テキスト、キャニーエッジ、およびDreambooth条件付きビデオ生成を行うことができます。この研究に関する詳細情報については、論文とデモを参照してください： 。当社のコードは、任意のStableDiffusionベースモデルで動作します。

このモデルは、アバタースタイルのDreamBooth重みを提供し、テキストからビデオ生成のゼロショットでエッジガイダンス（ControlNetを使用）とともに使用できます。

🚀 クイックスタート

このモデルは、テキストからビデオ生成や画像生成において、エッジガイダンスとアバタースタイルを用いた高度な機能を提供します。以下に、モデルの詳細情報を示します。

✨ 主な機能

• ゼロショットのテキストからビデオ生成
• 指示に基づくビデオ編集
• テキストとポーズ条件付きビデオ生成
• テキストとキャニーエッジ条件付きビデオ生成
• テキスト、キャニーエッジ、およびDreambooth条件付きビデオ生成

📚 ドキュメント

Text2Video-Zero用の重み

元の重みをdiffusersに変換し、ControlNetのエッジガイダンスで使用できるようにしました。変換には、https://github.com/lllyasviel/ControlNet/discussions/12 を使用しました。

モデル詳細

元の重み

アバタースタイルのDreambooth重みは、CIVITAIから取得されました。

モデル詳細

バイアスとコンテンツに関する注意事項

Text2Video-Zeroは、社会的バイアスを強化または悪化させるコンテンツ、リアルな顔、ポルノグラフィー、および暴力を含むコンテンツを出力する可能性があります。このデモのText2Video-Zeroは、研究目的のみを意図しています。

引用

@article{text2video-zero,
  title={Text2Video-Zero: Text-to-Image Diffusion Models are Zero-Shot Video Generators},
  author={Khachatryan, Levon and Movsisyan, Andranik and Tadevosyan, Vahram and Henschel, Roberto and Wang, Zhangyang and Navasardyan, Shant and Shi, Humphrey},
  journal={arXiv preprint arXiv:2303.13439},
  year={2023}
}

📄 ライセンス

このモデルは、The CreativeML OpenRAIL M licenseの下で提供されています。