Show 1 Base

🚀 Show-1-base

基於像素的視頻擴散模型（VDMs）能夠生成與文本提示精確對齊的運動效果，但在生成高分辨率視頻時，通常需要在時間和GPU內存方面付出高昂的計算成本。基於隱空間的VDMs則更具資源效率，因為它們在降維後的隱空間中工作。然而，對於如此小的隱空間（例如，對於256×160的視頻，隱空間為64×40）來說，要涵蓋文本提示所描述的豐富而必要的視覺語義細節是具有挑戰性的。

為了結合基於像素和基於隱空間的VDMs的優勢並減輕其劣勢，我們推出了Show-1，這是一種高效的文本到視頻模型，它不僅能生成視頻與文本對齊良好的視頻，還能保證較高的視覺質量。

✨ 主要特性

• 結合了基於像素和基於隱空間的VDMs的優勢，實現視頻與文本的良好對齊以及高視覺質量。
• 基於特定數據集進行微調，生成具有特定分辨率和關鍵幀數的視頻。

📦 安裝指南

克隆GitHub倉庫並安裝所需依賴：

git clone https://github.com/showlab/Show-1.git
pip install -r requirements.txt

💻 使用示例

基礎用法

運行以下命令，根據文本提示生成視頻。默認情況下，這將自動從Hugging Face下載所有模型權重。

python run_inference.py

高級用法

你也可以手動下載權重，並修改run_inference.py中的pretrained_model_path來進行推理。

git lfs install

# base
git clone https://huggingface.co/showlab/show-1-base
# interp
git clone https://huggingface.co/showlab/show-1-interpolation
# sr1
git clone https://huggingface.co/showlab/show-1-sr1
# sr2
git clone https://huggingface.co/showlab/show-1-sr2

📚 詳細文檔

模型詳情

這是Show-1的基礎模型，可生成分辨率為64x40、包含8個關鍵幀的視頻。該模型是在WebVid - 10M和InternVid數據集上，基於DeepFloyd/IF - I - L - v1.0進行微調得到的。

引用

如果您使用了我們的工作，請引用我們的論文：

@misc{zhang2023show1,
    title={Show-1: Marrying Pixel and Latent Diffusion Models for Text-to-Video Generation}, 
    author={David Junhao Zhang and Jay Zhangjie Wu and Jia-Wei Liu and Rui Zhao and Lingmin Ran and Yuchao Gu and Difei Gao and Mike Zheng Shou},
    year={2023},
    eprint={2309.15818},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}

模型卡片維護信息

本模型卡片由David Junhao Zhang和Jay Zhangjie Wu維護。如有任何問題，請隨時與我們聯繫或在倉庫中提出問題。

📄 許可證

本項目採用知識共享署名非商業性使用4.0許可協議（Creative Commons Attribution Non Commercial 4.0）。