Repvideo

🚀 RepVideo：重新思考视频生成的跨层表示

RepVideo 是一个专注于视频生成的项目，它重新思考了跨层表示在视频生成中的应用，为视频生成领域带来了新的思路和方法。

🚀 快速开始

安装

1. 创建 conda 环境并下载模型

conda create -n RepVid python==3.10
conda activate RepVid
pip install -r requirements.txt

mkdir ckpt
cd ckpt
mkdir t5-v1_1-xxl
wget https://huggingface.co/THUDM/CogVideoX-2b/resolve/main/text_encoder/config.json
wget https://huggingface.co/THUDM/CogVideoX-2b/resolve/main/text_encoder/model-00001-of-00002.safetensors
wget https://huggingface.co/THUDM/CogVideoX-2b/resolve/main/text_encoder/model-00002-of-00002.safetensors
wget https://huggingface.co/THUDM/CogVideoX-2b/resolve/main/text_encoder/model.safetensors.index.json
wget https://huggingface.co/THUDM/CogVideoX-2b/resolve/main/tokenizer/added_tokens.json
wget https://huggingface.co/THUDM/CogVideoX-2b/resolve/main/tokenizer/special_tokens_map.json
wget https://huggingface.co/THUDM/CogVideoX-2b/resolve/main/tokenizer/spiece.model
wget https://huggingface.co/THUDM/CogVideoX-2b/resolve/main/tokenizer/tokenizer_config.json

cd ../
mkdir vae
wget https://cloud.tsinghua.edu.cn/f/fdba7608a49c463ba754/?dl=1
mv 'index.html?dl=1' vae.zip
unzip vae.zip

推理

cd sat
bash run.sh

✨ 主要特性

• 跨层表示创新：重新思考了跨层表示在视频生成中的应用，为视频生成带来新的方法。
• 开源框架：代码采用 Apache 2.0 许可证，完全开放用于学术研究，也允许免费商业使用。

📦 安装指南

1. 创建 conda 环境并下载模型

conda create -n RepVid python==3.10
conda activate RepVid
pip install -r requirements.txt

mkdir ckpt
cd ckpt
mkdir t5-v1_1-xxl
wget https://huggingface.co/THUDM/CogVideoX-2b/resolve/main/text_encoder/config.json
wget https://huggingface.co/THUDM/CogVideoX-2b/resolve/main/text_encoder/model-00001-of-00002.safetensors
wget https://huggingface.co/THUDM/CogVideoX-2b/resolve/main/text_encoder/model-00002-of-00002.safetensors
wget https://huggingface.co/THUDM/CogVideoX-2b/resolve/main/text_encoder/model.safetensors.index.json
wget https://huggingface.co/THUDM/CogVideoX-2b/resolve/main/tokenizer/added_tokens.json
wget https://huggingface.co/THUDM/CogVideoX-2b/resolve/main/tokenizer/special_tokens_map.json
wget https://huggingface.co/THUDM/CogVideoX-2b/resolve/main/tokenizer/spiece.model
wget https://huggingface.co/THUDM/CogVideoX-2b/resolve/main/tokenizer/tokenizer_config.json

cd ../
mkdir vae
wget https://cloud.tsinghua.edu.cn/f/fdba7608a49c463ba754/?dl=1
mv 'index.html?dl=1' vae.zip
unzip vae.zip

💻 使用示例

推理

cd sat
bash run.sh

📚 详细文档

作者信息

相关链接

效果展示

📄 许可证

本代码采用 Apache 2.0 许可证。该框架完全开放用于学术研究，也允许免费商业使用。

免责声明

我们对用户生成的内容不承担责任。该模型并非用于真实地呈现人物或事件，因此使用它生成此类内容超出了模型的能力范围。禁止使用该模型生成色情、暴力和血腥内容，以及生成贬低或伤害他人或其环境、文化、宗教等的内容。用户对自己的行为负全部责任。项目贡献者与用户的行为在法律上没有关联，也不对用户的行为负责。请负责任地使用生成模型，遵守道德和法律标准。

BibTeX

@article{si2025RepVideo,
  title={RepVideo: Rethinking Cross-Layer Representation for Video Generation},
  author={Si, Chenyang and Fan, Weichen and Lv, Zhengyao and Huang, Ziqi and Qiao, Yu and Liu, Ziwei},
  journal={arXiv 2501.08994},
  year={2025}
}