Show 1 Interpolation

🚀 show-1-interpolation

像素級視頻擴散模型（VDMs）能夠生成與文本提示精確對齊的動態效果，但在生成高分辨率視頻時，通常需要耗費大量的時間和GPU內存等計算資源。基於隱空間的VDMs則更為節省資源，因為它們在低維的隱空間中運行。然而，如此小的隱空間（例如，對於256×160的視頻，隱空間為64×40）很難涵蓋文本提示所描述的豐富且必要的視覺語義細節。

為了結合像素級和基於隱空間的VDMs的優勢並減輕其劣勢，我們推出了Show - 1，這是一個高效的文本到視頻模型，它不僅能生成文本與視頻高度對齊的視頻，還能保證較高的視覺質量。

✨ 主要特性

• 結合像素級和基於隱空間的VDMs的優勢，實現文本與視頻的良好對齊和高視覺質量。
• 推出的插值模型可將視頻從2fps上採樣到7.5fps。

📦 安裝指南

克隆GitHub倉庫並安裝所需依賴：

git clone https://github.com/showlab/Show-1.git
pip install -r requirements.txt

💻 使用示例

基礎用法

運行以下命令從文本提示生成視頻。默認情況下，這將自動從Hugging Face下載所有模型權重。

python run_inference.py

高級用法

你也可以手動下載權重，並更改run_inference.py中的pretrained_model_path來運行推理。

git lfs install

# base
git clone https://huggingface.co/showlab/show-1-base
# interp
git clone https://huggingface.co/showlab/show-1-interpolation
# sr1
git clone https://huggingface.co/showlab/show-1-sr1
# sr2
git clone https://huggingface.co/showlab/show-1-sr2

📚 詳細文檔

模型詳情

這是Show - 1的插值模型，可將視頻從2fps上採樣到7.5fps。該模型是在WebVid - 10M數據集上，基於showlab/show - 1 - base微調得到的。

引用說明

如果您使用了我們的工作成果，請引用我們的論文：

@misc{zhang2023show1,
    title={Show-1: Marrying Pixel and Latent Diffusion Models for Text-to-Video Generation}, 
    author={David Junhao Zhang and Jay Zhangjie Wu and Jia-Wei Liu and Rui Zhao and Lingmin Ran and Yuchao Gu and Difei Gao and Mike Zheng Shou},
    year={2023},
    eprint={2309.15818},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}

模型卡片維護信息

本模型卡片由David Junhao Zhang和Jay Zhangjie Wu維護。如有任何問題，請隨時與我們聯繫或在倉庫中提出問題。

📄 許可證

本項目採用知識共享署名非商業性使用4.0許可協議（Creative Commons Attribution Non Commercial 4.0）。