Show 1 Interpolation

🚀 Show-1 インターポレーション

ピクセルベースのVDMは、テキストプロンプトと正確に一致する動きを生成できますが、特に高解像度のビデオを生成する場合、時間とGPUメモリの面で高い計算コストがかかります。一方、潜在ベースのVDMは、低次元の潜在空間で動作するため、よりリソース効率が良いです。しかし、このような小さな潜在空間（例えば、256×160のビデオに対して64×40）では、テキストプロンプトで記述された豊富で必要な視覚的な意味論的な詳細をカバーすることが困難です。

ピクセルベースと潜在ベースのVDMの長所を生かし、短所を軽減するために、我々はShow-1を導入しました。これは、ビデオとテキストの良好なアライメントだけでなく、高い視覚品質のビデオを生成する効率的なテキストからビデオへの変換モデルです。

📚 詳細な説明

これはShow-1のインターポレーションモデルで、ビデオを2fpsから7.5fpsにアップサンプリングします。このモデルは、showlab/show-1-baseをWebVid-10Mデータセットでファインチューニングしたものです。

📦 インストール

GitHubリポジトリをクローンし、必要なパッケージをインストールします。

git clone https://github.com/showlab/Show-1.git
pip install -r requirements.txt

次のコマンドを実行して、テキストプロンプトからビデオを生成します。デフォルトでは、huggingfaceからすべてのモデルウェイトが自動的にダウンロードされます。

python run_inference.py

また、手動でウェイトをダウンロードし、run_inference.pyのpretrained_model_pathを変更して推論を実行することもできます。

git lfs install

# base
git clone https://huggingface.co/showlab/show-1-base
# interp
git clone https://huggingface.co/showlab/show-1-interpolation
# sr1
git clone https://huggingface.co/showlab/show-1-sr1
# sr2
git clone https://huggingface.co/showlab/show-1-sr2

📄 ライセンス

このモデルは、Creative Commons Attribution Non Commercial 4.0ライセンスの下で提供されています。

📚 引用

もしあなたが我々の研究を利用する場合は、以下の論文を引用してください。

@misc{zhang2023show1,
    title={Show-1: Marrying Pixel and Latent Diffusion Models for Text-to-Video Generation}, 
    author={David Junhao Zhang and Jay Zhangjie Wu and Jia-Wei Liu and Rui Zhao and Lingmin Ran and Yuchao Gu and Difei Gao and Mike Zheng Shou},
    year={2023},
    eprint={2309.15818},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}

📞 モデルカードの問い合わせ

このモデルカードは、David Junhao Zhang と Jay Zhangjie Wuによって管理されています。何か質問があれば、自由に私たちに連絡するか、リポジトリにissueを立ててください。