Show 1 Interpolation

🚀 show-1-interpolation

像素级视频扩散模型（VDMs）能够生成与文本提示精确对齐的动态效果，但在生成高分辨率视频时，通常需要耗费大量的时间和GPU内存等计算资源。基于隐空间的VDMs则更为节省资源，因为它们在低维的隐空间中运行。然而，如此小的隐空间（例如，对于256×160的视频，隐空间为64×40）很难涵盖文本提示所描述的丰富且必要的视觉语义细节。

为了结合像素级和基于隐空间的VDMs的优势并减轻其劣势，我们推出了Show - 1，这是一个高效的文本到视频模型，它不仅能生成文本与视频高度对齐的视频，还能保证较高的视觉质量。

✨ 主要特性

• 结合像素级和基于隐空间的VDMs的优势，实现文本与视频的良好对齐和高视觉质量。
• 推出的插值模型可将视频从2fps上采样到7.5fps。

📦 安装指南

克隆GitHub仓库并安装所需依赖：

git clone https://github.com/showlab/Show-1.git
pip install -r requirements.txt

💻 使用示例

基础用法

运行以下命令从文本提示生成视频。默认情况下，这将自动从Hugging Face下载所有模型权重。

python run_inference.py

高级用法

你也可以手动下载权重，并更改run_inference.py中的pretrained_model_path来运行推理。

git lfs install

# base
git clone https://huggingface.co/showlab/show-1-base
# interp
git clone https://huggingface.co/showlab/show-1-interpolation
# sr1
git clone https://huggingface.co/showlab/show-1-sr1
# sr2
git clone https://huggingface.co/showlab/show-1-sr2

📚 详细文档

模型详情

这是Show - 1的插值模型，可将视频从2fps上采样到7.5fps。该模型是在WebVid - 10M数据集上，基于showlab/show - 1 - base微调得到的。

引用说明

如果您使用了我们的工作成果，请引用我们的论文：

@misc{zhang2023show1,
    title={Show-1: Marrying Pixel and Latent Diffusion Models for Text-to-Video Generation}, 
    author={David Junhao Zhang and Jay Zhangjie Wu and Jia-Wei Liu and Rui Zhao and Lingmin Ran and Yuchao Gu and Difei Gao and Mike Zheng Shou},
    year={2023},
    eprint={2309.15818},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}

模型卡片维护信息

本模型卡片由David Junhao Zhang和Jay Zhangjie Wu维护。如有任何问题，请随时与我们联系或在仓库中提出问题。

📄 许可证

本项目采用知识共享署名非商业性使用4.0许可协议（Creative Commons Attribution Non Commercial 4.0）。