Show 1 Sr1

🚀 Show-1 SR1

ピクセルベースのVDMは、テキストプロンプトと正確に一致する動きを生成できますが、特に高解像度のビデオを生成する際に、時間とGPUメモリの面で高い計算コストがかかります。一方、潜在空間ベースのVDMは、低次元の潜在空間で動作するため、リソース効率が高いです。しかし、このような小さな潜在空間（例えば、256×160のビデオに対して64×40）では、テキストプロンプトで記述された豊富で必要な視覚的な意味情報をカバーするのが難しいです。

ピクセルベースと潜在空間ベースのVDMの長所を生かし、短所を軽減するために、我々はShow-1を提案します。これは、ビデオとテキストの良好なアライメントと高い視覚品質を兼ね備えた効率的なテキストからビデオへの変換モデルです。

📚 ドキュメント

これはShow-1の超解像モデルで、64x40の解像度のビデオを256x160に拡大します。このモデルは、DeepFloyd/IF-II-M-v1.0をWebVid-10Mデータセットでファインチューニングしたものです。

📦 インストール

GitHubリポジトリをクローンし、必要なパッケージをインストールします。

git clone https://github.com/showlab/Show-1.git
pip install -r requirements.txt

💻 使用例

基本的な使用法

次のコマンドを実行して、テキストプロンプトからビデオを生成します。デフォルトでは、すべてのモデルウェイトがhuggingfaceから自動的にダウンロードされます。

python run_inference.py

高度な使用法

手動でウェイトをダウンロードし、run_inference.pyのpretrained_model_pathを変更して推論を実行することもできます。

git lfs install

# base
git clone https://huggingface.co/showlab/show-1-base
# interp
git clone https://huggingface.co/showlab/show-1-interpolation
# sr1
git clone https://huggingface.co/showlab/show-1-sr1
# sr2
git clone https://huggingface.co/showlab/show-1-sr2

📄 ライセンス

このモデルは、Creative Commons Attribution Non Commercial 4.0ライセンスの下で提供されています。

📚 引用

もしあなたが我々の研究を利用する場合は、以下の論文を引用してください。

@misc{zhang2023show1,
    title={Show-1: Marrying Pixel and Latent Diffusion Models for Text-to-Video Generation}, 
    author={David Junhao Zhang and Jay Zhangjie Wu and Jia-Wei Liu and Rui Zhao and Lingmin Ran and Yuchao Gu and Difei Gao and Mike Zheng Shou},
    year={2023},
    eprint={2309.15818},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}

📞 モデルカードの問い合わせ

このモデルカードは、David Junhao ZhangとJay Zhangjie Wuによって管理されています。何か質問があれば、自由に私たちに連絡するか、リポジトリでissueを開いてください。