Repvideo

🚀 RepVideo: ビデオ生成のためのクロスレイヤー表現の再考

RepVideoは、ビデオ生成におけるクロスレイヤー表現を再考することで、高品質なビデオ生成を実現するプロジェクトです。本プロジェクトは、新しいアプローチを用いて、テキストからビデオを生成する能力を向上させます。

🌟 ギャラリー

📦 インストール

1. Conda環境を作成し、モデルをダウンロードする

conda create -n RepVid python==3.10
conda activate RepVid
pip install -r requirements.txt

mkdir ckpt
cd ckpt
mkdir t5-v1_1-xxl
wget https://huggingface.co/THUDM/CogVideoX-2b/resolve/main/text_encoder/config.json
wget https://huggingface.co/THUDM/CogVideoX-2b/resolve/main/text_encoder/model-00001-of-00002.safetensors
wget https://huggingface.co/THUDM/CogVideoX-2b/resolve/main/text_encoder/model-00002-of-00002.safetensors
wget https://huggingface.co/THUDM/CogVideoX-2b/resolve/main/text_encoder/model.safetensors.index.json
wget https://huggingface.co/THUDM/CogVideoX-2b/resolve/main/tokenizer/added_tokens.json
wget https://huggingface.co/THUDM/CogVideoX-2b/resolve/main/tokenizer/special_tokens_map.json
wget https://huggingface.co/THUDM/CogVideoX-2b/resolve/main/tokenizer/spiece.model
wget https://huggingface.co/THUDM/CogVideoX-2b/resolve/main/tokenizer/tokenizer_config.json

cd ../
mkdir vae
wget https://cloud.tsinghua.edu.cn/f/fdba7608a49c463ba754/?dl=1
mv 'index.html?dl=1' vae.zip
unzip vae.zip

💻 使用例

推論

cd sat
bash run.sh

📚 引用

@article{si2025RepVideo,
  title={RepVideo: Rethinking Cross-Layer Representation for Video Generation},
  author={Si, Chenyang and Fan, Weichen and Lv, Zhengyao and Huang, Ziqi and Qiao, Yu and Liu, Ziwei},
  journal={arXiv 2501.08994},
  year={2025}
}

📄 ライセンス

このコードはApache 2.0ライセンスの下で提供されています。本フレームワークは学術研究用に完全にオープンであり、商用利用も無料で許可されています。

免責事項

ユーザーが生成したコンテンツについて、当方は責任を負いません。モデルは人物やイベントを現実的に表現するように訓練されていないため、そのようなコンテンツを生成することはモデルの能力を超えています。色情、暴力、血腥なコンテンツの生成や、人やその環境、文化、宗教などを貶めたり害するようなコンテンツの生成は禁止されています。ユーザーは自身の行動に対してのみ責任を負います。プロジェクトの貢献者は、ユーザーの行動と法的に関係を持たず、その行動に対して責任を負いません。生成モデルを倫理的および法的基準に沿って責任を持って使用してください。