Show 1 Sr2

🚀 show-1-sr2

基于像素的视频扩散模型（VDMs）能够生成与文本提示精确对齐的运动，但在时间和GPU内存方面通常需要高昂的计算成本，尤其是在生成高分辨率视频时。基于隐空间的VDMs则更节省资源，因为它们在低维隐空间中工作。然而，这样的小隐空间（例如，对于256×160的视频，隐空间为64×40）很难涵盖文本提示所描述的丰富而必要的视觉语义细节。

为了结合基于像素和基于隐空间的VDMs的优势并减轻其劣势，我们推出了 Show-1，这是一个高效的文本到视频模型，它不仅能生成文本与视频对齐良好的视频，还能保证较高的视觉质量。

✨ 主要特性

• 结合基于像素和基于隐空间的VDMs的优势，实现文本与视频的良好对齐和高视觉质量。
• 提供超分辨率模型，可将视频从256x160分辨率提升到576x320。

📦 安装指南

克隆GitHub仓库并安装所需依赖：

git clone https://github.com/showlab/Show-1.git
pip install -r requirements.txt

💻 使用示例

基础用法

运行以下命令，根据文本提示生成视频。默认情况下，这将自动从huggingface下载所有模型权重。

python run_inference.py

高级用法

你也可以手动下载权重，并修改run_inference.py中的pretrained_model_path来进行推理。

git lfs install

# base
git clone https://huggingface.co/showlab/show-1-base
# interp
git clone https://huggingface.co/showlab/show-1-interpolation
# sr1
git clone https://huggingface.co/showlab/show-1-sr1
# sr2
git clone https://huggingface.co/showlab/show-1-sr2

📚 详细文档

模型详情

这是Show-1的超分辨率模型，可将视频从256x160分辨率提升到576x320。该模型在WebVid-10M数据集上使用扩散时间步0 - 900进行微调。

引用信息

如果你使用了我们的工作，请引用我们的论文：

@misc{zhang2023show1,
    title={Show-1: Marrying Pixel and Latent Diffusion Models for Text-to-Video Generation}, 
    author={David Junhao Zhang and Jay Zhangjie Wu and Jia-Wei Liu and Rui Zhao and Lingmin Ran and Yuchao Gu and Difei Gao and Mike Zheng Shou},
    year={2023},
    eprint={2309.15818},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}

模型卡片维护信息

本模型卡片由David Junhao Zhang和Jay Zhangjie Wu维护。如有任何问题，请随时与我们联系或在仓库中提出问题。

📄 许可证

本模型采用知识共享署名非商业性使用4.0国际许可协议（Creative Commons Attribution Non Commercial 4.0）。