Show 1 Base

🚀 Show-1-base

PixelベースのVDMは、テキストプロンプトと正確に一致する動きを生成できますが、特に高解像度のビデオを生成する際に、時間とGPUメモリの面で高コストな計算が必要になります。LatentベースのVDMは、低次元の潜在空間で動作するため、よりリソース効率が高いです。しかし、このような小さな潜在空間（例えば、256×160ビデオの場合は64×40）では、テキストプロンプトで記述された豊富で必要な視覚的な意味情報をカバーすることが難しいです。

PixelベースとLatentベースのVDMの長所を生かし、短所を軽減するために、我々はShow-1を導入しました。これは、ビデオとテキストの良好なアライメントと高い視覚品質を備えたビデオを生成する効率的なテキストからビデオへの変換モデルです。

📚 ドキュメント

これはShow-1のベースモデルで、解像度64x40の8枚のキーフレームを持つビデオを生成します。このモデルは、DeepFloyd/IF-I-L-v1.0をWebVid-10MとInternVidデータセットでファインチューニングしたものです。

📦 インストール

GitHubリポジトリをクローンし、必要なパッケージをインストールします。

git clone https://github.com/showlab/Show-1.git
pip install -r requirements.txt

次のコマンドを実行して、テキストプロンプトからビデオを生成します。デフォルトでは、これによりhuggingfaceからすべてのモデルウェイトが自動的にダウンロードされます。

python run_inference.py

手動でウェイトをダウンロードし、run_inference.pyのpretrained_model_pathを変更して推論を実行することもできます。

git lfs install

# ベース
git clone https://huggingface.co/showlab/show-1-base
# 補間
git clone https://huggingface.co/showlab/show-1-interpolation
# sr1
git clone https://huggingface.co/showlab/show-1-sr1
# sr2
git clone https://huggingface.co/showlab/show-1-sr2

📄 ライセンス

このモデルは、Creative Commons Attribution Non Commercial 4.0ライセンスの下で提供されています。

📚 引用

もしあなたが我々の研究を利用する場合は、以下の論文を引用してください。

@misc{zhang2023show1,
    title={Show-1: Marrying Pixel and Latent Diffusion Models for Text-to-Video Generation}, 
    author={David Junhao Zhang and Jay Zhangjie Wu and Jia-Wei Liu and Rui Zhao and Lingmin Ran and Yuchao Gu and Difei Gao and Mike Zheng Shou},
    year={2023},
    eprint={2309.15818},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}

📞 モデルカードの問い合わせ

このモデルカードは、David Junhao ZhangとJay Zhangjie Wuによって管理されています。何か質問があれば、自由に私たちに連絡するか、リポジトリで問題を開いてください。